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译 者 F 


近年 来 ,“ 微 服务 ”技术 风靡 全 球 。 随 着 传统 互联 网 和 移动 互联 网 的 莲 勃 发 展 ， 企 
业 在 快速 欠 代 中 积累 了 大 规模 服务 化 开发 和 运 维 经 验 。 为 通过 提高 IT 的 响应 能 力 来 提 
升 竞争 力 ， 微 服务 架构 成 为 传统 企业 的 “救命 稻草 ”。 开发 团队 在 变革 中 改造 和 重建 技 
术 架 构 ， 企 业 管 理 者 们 切实 感受 到 微服 务 带 来 的 巨大 好 处 。 

但 不 可 否认 ， 微 服务 架构 带 来 了 额外 复杂 性 。 对 开发 者 提出 了 更 高 的 要 求 ， 开 发 
者 不 仅 要 编写 业务 代码 ， 还 需要 具有 部 署 和 运 维 等 能 力 。 

十 多 年 前 ， 当 Ruby on Rails 和 Django 发 布 时 ， 人 们 热衷 于 追逐 包罗 万 象 、 开 箱 
即 用 的 全 栈 式 Web 框架 ， 只 需要 运行 几 行 脚手架 命令 ， 就 能 快速 编写 一 个 包含 Web 
页 面 和 数据 存储 的 Todo List 应 用 。 但 时 至 今日 ， 那些 小巧 灵 便 的 框架 变 得 越 来 越 受 欢 
迎 , 开发 者 更 愿意 选择 “ 微 框架 ”， 通 过 谨慎 地 综合 运用 不 同 工 具 来 开发 应 用 ; 随 着 开 
发 的 进行 ， 灵 活 地 升级 或 替换 其 中 的 某 些 部 分 。Flask 即 是 这 种 微 框架 之 一 。 

本 书 模拟 真实 场景 ， 从 一 个 单 体 Flask 应 用 开始 ， 提 出 问题 ， 分 析 和 比较 方案 ， 
作出 权衡 ,最 终 解决 问题 (可 能 引出 又 一 个 “问题 ” 一 一 但 并 非 当 前 的 优先 级 )， 逐 渐 拆 
分 出 多 个 微服 务 ， 解 决 随 之 而 来 的 部 署 、 监 控 、 安 全 等 新 问题 ， 在 最 后 利用 异步 编程 
优化 性 能 。 期 间 牵涉 大 量 工具 ， 但 本 书 并 未 详细 介绍 它们 ， 只 是 “点 到 为 止 ”>。 本 书 内 
容 紧 贴 实 用 ， 面 向 想 要 开阔 眼界 和 动手 实践 的 开发 者 和 架构 师 。 通 过 阅读 本 书 ， 读 者 
将 能 对 微服 务 开发 实践 有 系统 性 认识 ， 以 便 在 开发 早期 进行 规划 和 技术 选 型 。 

这 里 要 感谢 清华 大 学 出 版 社 的 编辑 们 , 他 们 为 本 书 的 翻译 投入 了 巨大 热情 并 付出 
了 很 多 心血 。 没 有 他 们 的 帮助 和 严谨 的 要 求 ， 本 书 不 可 能 顺利 付 梓 。 

本 书 涉及 大 量 的 实践 和 专业 术语 ， 虽 然 译 者 倾 力 而 为 ， 力 求 译 文 准确 易 懂 。 但 毕 
竟 水 平 有 限 ， 失 误 在 所 难免 ， 如 有 任何 意见 和 建议 ， 请 不 音 指正 ! 本 书 主要 章节 由 和 
坚 和 张 渊 翻译 ， 参 与 本 书 翻译 的 还 有 张 坤 、 吴 邦 、 刘 易 斯 、 赵 汝 达 、 何 害 智 、 刘 娟 娟 、 
罗 冬 哲 等 。 

最 后 ,希望 读者 能 通过 本 书 对 微服 务 开发 有 更 深入 的 理解 ， 并 能 继续 探索 解决 已 
知 问题 的 工具 和 方法 。 


作者 简介 


Tarek Ziadé 是 一 位 Python 开发 人 员 ， 在 Mozilla 的 服务 团队 工作 ， 已 使 用 法 语 和 
英语 撰写 多 本 Python 书籍 。Tarek 创建 了 一 个 名 为 Afpy 的 法 国 Python 用 户 组 ， 现 居 
住 在 法 国 第 戎 市 郊区 。 在 工作 之 余 ，Tarek 不 忘 陪伴 家 人 。 他 另 有 两 个 爱好 : 跑步 和 吹 
AS 

可 访问 Tarek 的 个 人 博客 (Fetchez le Python), 并 在 Twitter 上 关注 他 (@tarek_ziade)。 
还 可 在 亚马逊 上 找到 他 撰写 的 男 一 本 书 Expert Python Programming， 该 书 已 由 Packt 
出 版 。 

感谢 Packt 团 队 ， 以 及 帮助 过 我 的 以 下 技术 精英 : Stéfane Fermigier、William 
Kahn-Greene, Chris Kolosiwsky、Julien Vehent 和 Ryan Kelly. 

感谢 Amina, Milo, Suki 和 Freya 给 予 我 的 爱 和 耐心 支持 。 

希望 在 阅读 时 ， 你 能 享受 到 和 我 写本 书 时 同样 的 乐趣 ! 


审 校 者 简介 


Á 20 世纪 90 ERRAR, William Kahn-Greene 一 直 在 编写 Python 代码 和 构建 
Web 应 用 。 

他 在 Mozilla crash ingestion pipeline 的 crash-stats 小 组 工作 ， 并 维护 着 多 种 Python 
库 ， 如 bleach。 在 等 待 CI 测试 代码 改动 时 ，William 会 摆弄 木 制 品 ， 照 料 他 种 的 番茄 ， 
并 毫 饪 4 个 人 的 饭 食 。 


ee: ae 


Lilt 


7 年 前 ， 当 我 开始 在 Mozilla 工作 时 ， 为 一 些 Firefox 功能 编写 Web 服务 。 它 们 中 
的 一 些 最 终 晓 变 成 微服 务 。 这 种 变化 是 随 着 时 间 的 推移 逐渐 发 生 的 。 促 成 这 种 转变 的 
第 一 个 因素 是 ， 我 们 将 所 有 服务 转移 到 云 厂 商 上 ， 并 开始 与 一 些 第 三 方 服务 交互 。 在 
云 服务 上 托管 应 用 时 ， 微 服务 架构 成 为 自然 之 选 。 另 一 个 驱动 因素 是 Firefox 的 
Account 项 目 。 我 们 想 在 Firefox 上 为 用 户 提供 独立 身份 , 以 便 用 户 与 我 们 的 服务 交互 。 
这 样 一 来 , 所 有 服务 必须 与 同一 个 身份 提供 方 ddentity Provider) 交 互 , 一 些 服务 器 端 部 
分 开始 重新 设计 为 微服 务 ， 以 便 更 高 效 地 工作 。 

许多 Web 开发 者 有 类 似 经 历 ， 或 正在 经 历 这 个 过 程 。 我 也 相信 Python 是 用 来 编 
写 小 型 和 高 效 微服 务 的 最 佳 语言 。Python 生态 系统 生机 勃勃 ， 最 新 的 Python 3 的 特性 
让 它 在 这 个 领域 中 能 与 过 去 5 年 中 迅猛 发 展 的 Nodejs 一 决 高 下 。 

这 就 是 本 书 的 全 部 内 容 。 我 想 分 享 自己 使 用 Python 编写 微服 务 的 经 验 ， 并 为 此 
创建 了 一 个 简单 示例 一 Runnerly。 它 位 于 GitHub， 可 供 你 学 习 。 你 可 在 GitHub 上 与 
我 直接 交流 , 请 指出 你 看 到 的 任何 错误 , 我 们 可 共同 切磋 如 何 编写 优秀 的 Python 应用。 


Lilt 


为 将 Web 应 用 部 署 到 云 , 代码 需要 与 很 多 第 三 方 服务 进行 交互 。 使 用 微服 务 架构 ， 
可 构建 能 管理 这 些 交 互 的 大 型 应 用 。 但 这 带 来 一 系列 挑战 ， 每 项 挑战 都 有 独特 的 复杂 
性 。 这 本 通俗 易 懂 的 指南 旨 在 帮助 你 克服 这 些 挑战 。 书 中 将 介绍 如 何以 最 合理 的 方式 
设计 、 开 发 、 测 试 和 部 署 微服 务 ， 紧 贴 实用 的 示例 将 帮助 Python 开发 者 用 最 高 效 的 
方式 创建 Python 微服 务 。 阅 读 完 本 书 , 读者 将 掌握 基于 小 型 标准 单元 构建 大 型 应 用 的 
技能 。 本 书 将 使 用 成 熟 的 最 佳 实践 ， 并 分 析 如 何 规避 常见 陷阱 。 此 外 ， 对 于 正 将 单 体 
设计 转换 成 新 型 “微服 务 ” 开 发 范式 的 社区 开发 者 来 说 ， 本 书 也 颇具 价值 。 


本 书 内 容 


第 1 章 “ 理 解 微服 务 ” 定 义 什么 是 微服 务 ， 以 及 微服 务 在 现代 Web 应 用 中 扮演 的 
角色 。 还 介绍 Python， 并 解释 为 什么 用 Python 构建 微服 务 是 上 佳之 选 。 

第 2 章 “Flask 框架 ”介绍 Flask 的 主要 特性 。 通 过 一 个 Web 应 用 示例 来 展示 这 个 
HEAR, Flask 是 构建 微服 务 的 基础 。 

第 3 章 “ 良 性 循环 : 编程 、 测 试 和 写 文档 ” 介绍 测试 驱动 开发 方法 和 持续 集成 方 
法 ， 以 及 在 构建 和 打包 Flask 应 用 的 实践 中 如 何 使 用 这 些 方法 。 

第 4 章 “ 设 计 Runnerly” 基 于 应 用 特性 和 用 户 案例 ， 首 先 构建 一 个 单 体 应 用 ， 然 
后 讲述 如 何 将 其 拆 解 成 微服 务 ， 并 实现 微服 务 之 间 的 数据 交互 。 还 将 介绍 用 来 描述 
HTTP API 的 Open API 2.0(ex-Swagger) 规 范 。 

第 5 章 “ 与 其 他 服务 交互 ”介绍 一 个 服务 如 何 与 后 台 服 务 进 行 交互 ， 如 何 处 理 网 
络 拆 分 问题 ， 以 及 其 他 交互 问题 ， 另 外 介绍 如 何 独立 地 测试 一 个 服务 。 

第 6 章 “ 监 控 服 务 ” 介 绍 如 何在 代码 中 添加 日 志和 指标 ， 清 晰 地 掌控 全 局 ， 确 定 
发 生 了 什么 ， 并 能 追查 问题 和 了 解 服务 利用 率 。 
第 7 章 “ 保 护 服务 ” 介 绍 如 何 保护 微服 务 ， 如 何 处 理 用户 身 份 验证 、 服 务 间 身份 
验证 以 及 用 户 管理 。 还 介绍 针对 服务 的 欺诈 和 小 用， 以 及 如 何 缓解 这 些 问 题 。 
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第 8 章 “ 综 合 运 用 ”描述 在 终端 用 户 界面 中 ， 如 何 设计 和 构建 一 个 使 用 微服 务 的 
JavaScript 应 用 。 
第 9 章 “ 打 包 和 运行 Runnerly” 描 述 如 何 打 包 、 构 建 和 运行 整个 应 用 。 开 发 者 必 
须 能 够 将 应 用 打包 到 一 个 开发 环境 中 ， 确 保 所 有 部 分 都 可 以 运行 。 

第 10 章 “ 容 器 化 服务 ”解释 什么 是 虚拟 化 ， 如 何 使 用 Docker， 如 何 将 服务 做 成 
Docker 镜像 。 

第 11 章 “ 在 AWS 上 部 署 ” 首先 介 绍 当前 的 云 服务 厂商 和 AWS 世界 。 然 后 演示 
如 何 使 用 AWS 来 实例 化 一 个 基于 微服 务 架构 的 应 用 。 另 外 介绍 CoreOS， 这 是 一 个 专 
门 用 于 在 云 上 发 布 Docker 容器 的 Linux 分 支 。 

第 12 章 “ 接 下 来 做 什么 ? ”总 结 全 书 , 在 如 何 构 建 独立 于 云 厂商 和 虚拟 化 技术 的 
微服 务 问 题 上 ， 给 出 一 些 提示 来 避免 将 鸡蛋 放 入 同一 个 篮子 里 。 还 将 帮助 你 巩固 第 9 
章 中 学 到 的 知识 。 


阅读 本 书 需要 准备 什么 


要 执行 本 书 的 命令 和 应 用 ， 系 统 需要 安装 Python 3.x, virtualenv 1.x 和 Docker CE. 
正文 中 也 会 根据 需要 详细 列 出 安装 说 明 。 


读者 对 象 


作为 一 名 开发 者 ， 如 果 你 了 解 Python 基本 概念 、 命 令 行 ， 以 及 基于 HTTP 的 应 用 
设计 原则 ， 并 想 学 习 如 何 构建 、 测 试 、 扩 展 和 管理 Python 3 微服 务 ， 那 么 本 书 适合 你 。 
阅读 本 书 ， 你 不 必 具 有 用 Python 编写 微服 务 的 任何 经 验 。 


本 书 约定 


代码 块 按 以 下 样式 显示 : 


import time 


def application (environ, start response): 
headers = [('Content-type', 'application/json')] 
start_response('200 OK', headers) 


return bytes (json.dumps({'time': time.time()}), 'utf8') 


了 


会 用 粗 体 来 显示 需要 重点 关注 的 代码 : 


from greenlet import greenlet 


def test1(x, y): 
z = gr2.switch (x+y) 


print (z) 


任何 命令 行 的 输入 或 输出 都 按 以 下 样式 显示 : 


docker-compose up 


0 
© 


警告 或 重要 注释 会 这 样 显 示 。 


提示 和 技巧 会 这 样 显 示 。 


读者 反馈 


欢迎 读者 提出 反馈 意见 ， 这 样 我 们 能 了 解 你 对 本 书 的 看 法 ， 喜 欢 什么 或 不 喜欢 什 
么 。 反 馈 意见 很 重要 ， 能 帮助 我 们 开发 读者 真正 想 了 解 的 主题 。 只 需要 发 邮件 给 
feedback@packpub.com， 并 在 邮件 标题 中 提 及 本 书 ， 即 可 将 反馈 意见 发 给 我 们 。 

如 果 你 是 某 个 主题 的 专家 ， 有 兴趣 写 书 ， 或 愿意 为 写 书 做 贡献 ， 请 到 
www.packtpub.com/authors 页 面 查阅 作者 指南 。 


下 载 示例 代码 


本 和 


世相 关 的 代码 放 在 GitHub 上 ， 网 址 是 https://github.com/PacktPublishing/Python- 


Microservices-Development 。 还 有 其 他 代码 包 和 视频 ， 欢 迎 通 过 https://github.com/ 
了 PacktPublishing/ 页 面 下 载 。 

另外 ， 读 者 可 扫描 本 书 封底 的 二 维 码 直接 下 载 代码 。 

下 载 文件 后 ， 用 以 下 工具 的 最 新 版 本 来 解压 缩 : 


在 Windows 系统 中 使 用 WinRAR /7-Zip。 
在 Mac 系统 中 使 用 Zipeg /iZip /UnRarX。 
在 Linux 系统 中 使 用 7-Zip /PeaZip。 


XI 


XII 
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勘误 


尽管 我 们 已 经 非常 小 心地 确保 内 容 的 准确 性 ， 但 还 是 会 发 生 失 误 。 如 果 你 在 书 中 
发 现 了 错误 ， 可 能 是 文本 错误 或 代码 错误 ， 你 能 向 我 们 报告 此 事 ， 我 们 将 不 胜 感激 。 
通过 这 样 做 ， 可 减少 其 他 读者 的 阅读 痛苦 ， 并 帮助 我 们 改进 本 书 的 后 续 版 本 。 如 果 你 
发 现任 何 勘误 ， 请 访问 http:/Avww.packtpub.com/submit-errata 页 面 来 报告 它们 ， 选 择 
你 购买 的 书 ， 单 击 Errata Submission Form 链接 ， 输 入 勘误 的 详细 信息 。 一 旦 填写 的 勘 
误 被 确认 ， 你 的 提交 将 被 接受 ， 然 后 勘误 将 被 上 传 到 我 们 的 网 站 上 ， 或 添加 到 任何 现 
有 的 勘误 列表 中 。 现 有 的 勘误 列表 位 于 Errata 标题 的 下 面 。 
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se 
理解 微服 务 


软件 行业 一 直 在 尝试 改良 软件 构建 方式 。 不 用 说 ， 与 穿孔 卡片 时 代 相 比 ， 当 今 的 
软件 构建 过 程 已 改良 了 很 多 。 

微服 务 是 过 去 几 年 里 涌现 出 的 一 种 改良 方法 ， 部 分 原因 是 很 多 公司 想 缩短 发 布 周 
期 。 他 们 希望 能 尽快 向 客户 交付 新 产品 或 新 特性 ， 希 望 通过 人 迭代 达到 “敏捷 ”目的 ， 
希望 能 做 到 交付 、 交 付 、 再 交付 。 

如 果 有 大 量 客 户 正 使 用 你 的 服务 ， 相 对 于 发 布 之 前 反复 测试 产品 ， 直 接 在 运行 的 
产品 上 推送 一 个 试验 性 功能 或 移 除 一 项 无 用 的 功能 是 更 好 的 实践 方法 。 

现在 ，Netflix 等 公司 正在 倡导 持续 交付 技术 ， 这 是 一 种 可 让 小 改动 频繁 上 线 ， 然 
后 在 一 小 部 分 用 户 中 进行 测试 的 技术 。 他 们 开发 了 很 多 工具 ， 例 如 
Spinnaker(http://www.spinnaker.io/) 就 是 通过 自动 执行 尽 可 能 多 的 步 又 来 更 新 生产 环境 ， 
改动 的 特性 通过 相互 独立 的 微服 务 发 布 到 云 上 。 

但 如 果 阅 读 Hacker News 或 Reddit， 你 会 发 现 ， 梳 理 出 哪些 概念 真正 有 用 ， 哪 些 
概念 只 是 随波逐流 的 新 闻 体 裁 是 非常 困难 的 。 


“ 写 一 篇 承诺 救赎 的 论文 ， 使 它 成 为 “结构 化 ”或 虚拟 化 ”的 东西 ， 或 使 用 抽 
象 、 分 布 式 、 高 阶 、 可 适用 等 概念 ， 你 几乎 肯定 在 宣扬 一 门 新 邪教 .” 
——Edsger W. Dijkstra 


本 章 将 讲解 什么 是 微服 务 , 然后 重点 介绍 多 个 使 用 Python 实现 微服 务 的 方法 。 本 
章 要 点 如 下 : 

e 面向 服务 架构 

e 使 用 单 体 方式 构建 应 用 

© 使 用 微服 务 方式 构建 应 用 
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e 微服 务 的 益处 

e 微服 务 的 缺陷 

o 使 用 Python 实现 微服 务 

希望 当 读 到 本 章 结尾 时 ， 你 能 深入 了 解 微服 务 的 构建 ， 并 明白 微服 务 是 什么 ， 以 
及 如 何 使 用 Python。 


1.1 SOA 的 起 源 


关于 微服 务 有 很 多 种 定义 ， 并 没有 一 个 官方 标准 。 在 试 着 解释 微服 务 时 ， 人 们 通 
常会 提 到 面向 服务 架构 (Service-Oriented Architecture, SOA). 


SOA 早 于 微服 务 ， 其 核心 原则 是 将 应 用 组 织 成 一 个 独立 的 功能 单元 ， 可 远程 访问 
并 单独 进行 操作 和 更 新 。 
一 一 Wikipedia 


上 述 定义 中 的 每 个 单元 都 是 一 个 独立 服务 ， 它 实现 业务 的 一 个 方面 ， 并 通过 接口 
提供 功能 。 

虽然 SOA 清 楚 地 指出 服务 应 当 是 独立 的 进程 ， 但 并 未 强制 使 用 哪 种 协议 进行 交 
互 ， 对 如 何 部 署 和 编排 应 用 还 是 相当 模糊 的 。 

在 少数 专家 于 2009 年 发 布 的 SOA 宣言 (http://www.soa-manifesto.org) 中 , 甚至 没有 
提 及 服务 是 否 通过 网 络 进行 交互 。 

SOA 服 务 可 在 同一 个 机 器 上 使 用 套 接 字 (socke0) 通 过 IPC(Inter-Process Communication, 
进程 间 通 信 ) 方 式 来 交互 ， 如 使 用 共享 内 存 、 间 接 消 息 队 列 或 远程 过 程 调用 (Remote 
Procedure Call，RPC)。 选 项 非常 广泛 ， 只 要 没有 在 单个 进程 中 运行 所 有 应 用 ，SOA 就 
可 以 是 任何 东西 。 

常见 的 说 法 是 , 过 年 几 年 开始 涌现 的 微服 务 是 SOA 的 一 种 特定 实现 方式 。 它 们 实 
ILT SOA 的 一 些 目标 ， 也 就 是 用 独立 组 件 来 构建 应 用 ， 组 件 之 间 进 行 着 交互 。 

如 果 想 给 出 微服 务 的 完整 定义 ， 最 好 先 分 析 一 下 大 多 数 软件 是 如 何 设计 架构 的 。 


1.2 单 体 架构 


让 我 们 先 通过 一 个 非常 简单 的 例子 来 介绍 传统 的 单 体 应 用 :一 个 酒店 预订 网 站 。 
除了 静态 的 HTML AX, 网 站 有 一 个 预订 功能 ,可 让 全 球 任何 城市 的 用 户 通过 网 
站 预订 酒店 。 用 户 可 搜索 酒店 ， 然 后 用 信用 卡 付款 。 
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当 用 户 搜索 酒店 网 站 时 ， 应 用 将 执行 以 下 操作 : 
(1) 针对 酒店 数据 库 执行 一 些 SQL 查询 。 
(2) 给 合作 伙伴 的 服务 发 送 HITP 请 求 ， 将 更 多 酒店 添加 到 列表 中 。 
(3) (EH HTML 模板 引擎 生成 HTML 结果 页 面 。 
旦 用 户 找到 满意 的 酒店 并 单 击 “ 预 订 ”， 应 用 将 执行 以 下 步 又; 
(D 如 有 必要 ， 在 数据 库 中 创建 客户 ， 然 后 进行 身份 验证 。 
(2) 通过 与 银行 网 络 服务 交互 来 完成 付款 。 
(3) 按 法 律 要 求 ， 应 用 需要 将 支付 详情 保存 到 数据 库 。 
(4) 使 用 PDF 生成 器 生成 收据 。 
(5) 用 电子 邮件 服务 向 用 户 发 送 一 份 用 于 确认 的 电子 邮件 。 
(6) 用 电子 邮件 服务 将 预订 电子 邮件 转发 给 第 三 方 酒店 。 
(7) 在 数据 库 中 添加 用 于 追踪 订单 的 条 目 。 
上 面 是 一 个 简化 的 过 程 ， 但 紧 贴 实用 。 
应 用 和 数据 库 的 交互 包括 酒店 信息 、 预 订 信 息 、 支 付 信息 和 用 户 信息 等 。 它 还 与 


外 部 服务 进行 交互 来 发 送 邮件 ， 完 成 支付 ， 从 合作 伙伴 获取 更 多 酒店 。 


在 经 典 的 LAMP(CLinux-Apache-MySQL-PeryPHP/Pythom) 架 构 中 , 每 个 传 入 的 请 求 


都 会 在 数据 库 生 成 关联 的 SQL 查询 ， 以 及 少量 对 外 部 服务 的 网 络 请 求 ， 然 后 服务 器 使 


模板 引擎 生成 HTML 响应 。 


图 1-1 描述 了 这 种 中 心 化 架构 。 


图 1-1 中 心 化 架构 
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这 是 一 个 典型 的 单 体 应 用 ， 它 有 很 多 显而易见 的 好 处 。 

最 大 的 好 处 是 整个 应 用 程序 在 一 个 代码 库 中 , 这 样 开 始 项 目 编码 就 变 得 十 分 简单 。 
很 容易 构建 良好 的 测试 覆盖 率 ,还 可 在 一 个 代码 库 内 以 干净 和 结构 化 的 方式 组 织 代码 。 
将 所 有 数据 存储 到 单一 数据 库 中 也 简化 了 应 用 的 开发 。 可 调整 数据 模型 以 及 代码 查询 
它 的 方式 。 

部 署 也 很 容易 :可 给 代码 库 打 标签 ， 构 建 应 用 包 ， 然 后 运行 它 。 如 果 需 要 扩大 规 
J 运行 多 个 预订 应 用 的 实例 ， 并 使 用 复制 机 制 建立 多 个 数据 库 。 

如 果 应 用 一 直 都 很 小 ， 这 种 模型 将 非常 好 用 ,对 于 单个 团队 来 说 , 维护 也 很 容易 。 

但 项 目 通常 都 会 增长 ， 都 比 最 初 计划 的 要 大 。 在 一 个 代码 库 中 维护 整个 应 用 会 遇 
到 很 多 棘手 的 问题 。 例 如 ， 如 果 要 进行 一 次 大 范围 的 彻底 修改 ， 如 更 改 银行 服务 或 数 
据 库 层 , 则 整个 应 用 会 陷入 不 稳定 状态 。 这 些 改变 在 项 目 生命 周 期 中 是 个 较 大 的 问题 ， 
只 有 通过 大 量 的 额外 测试 才能 部 署 一 个 新 版 本 。 一 个 项 目的 生命 周期 中 ， 这 样 的 改变 
难免 发 生 。 

由 于 系统 的 不 同 部 分 要 求 不 同 的 正常 运行 时 间 和 稳定 性 ， 因 此 一 些小 变化 也 会 产 
生 附 带 破坏 。 例 如 创建 PDF 出 错 而 导致 服务 器 崩溃 , 会 将 付款 和 预订 流程 置 于 风险 中 ， 
很 明显 这 是 存在 问题 的 。 

失控 性 增长 是 另 一 个 问题 ， 应 用 迅速 添加 了 很 多 新 特性 ， 不 断 有 开发 者 离开 或 加 
入 项 目 ， 代 码 结构 变 得 混乱 不 堪 ， 测 试 速 度 越 来 越 慢 。 通 常 ， 这 种 增长 的 最 终结 果 是 
一 个 难以 维护 的 意大利 面条 式 的 代码 库 , 每 次 当 开 发 者 重 构 数据 模型 时 ,“ 长 毛 ” 的 数 
据 库 都 需要 一 个 复杂 的 数据 迁移 计划 。 

大 型 软件 项 目 通 常 需 要 经 历数 年 时 间 才 能 走向 成 熟 ， 此 后 ， 会 慢 慢 地 变 得 难以 理 
解 和 陷入 混乱 ， 最 终 很 难 进行 维护 。 这 不 是 因为 开发 者 水 平 糟糕 导致 的 ， 而 是 因为 复 
杂 度 在 增加 ， 很 少 有 人 完全 理解 他 们 所 做 的 每 一 个 小 改动 会 产生 的 影响 ， 他 们 只 试图 
在 代码 库 的 某 个 角落 孤立 地 工作 。 当 从 1 万 英尺 的 高 空 鸟 辐 项 目 时 , 看 到 的 只 有 混乱 。 

这 些 都 是 我 们 亲身 经 历 过 的 。 

过 程 是 很 痛苦 的 ， 一 个 项 目 开 始 时 ， 开 发 者 梦想 能 用 最 新 的 架构 来 构建 应 用 。 但 
紧 接着 ， 他 们 通常 会 再 次 陷入 同样 的 困 局 一 一 熟悉 的 场景 再 次 上 演 。 

下 面 总 结 一 下 单 体 应 用 的 优 缺 点 : 

e 用 单 体 模式 开始 一 个 项 目 是 容易 的 ， 可 能 还 是 最 好 的 方法 。 

e 中 心 化 的 数据 库 简 化 了 数据 的 设计 和 组 织 。 

e 部 署 应 用 较 简单 。 

e 对 代码 的 任何 改动 会 影响 原本 不 相关 的 功能 。 对 某 部 分 的 错误 修改 可 能 导致 

RS DANI. 


模 ， 


z| 
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e 扩展 应 用 的 解决 方案 存在 限制 : 可 部 署 多 个 实例 ， 但 若 其 中 一 个 特定 功能 占 
用 了 所 有 资源 ， 则 会 影响 整个 应 用 。 

© 随 着 代码 库 的 增长 ， 很 难保 证 代码 的 干净 和 可 控 性 。 

当然 也 有 一 些 办 法 可 避免 上 述 问题 。 

常见 的 解决 方案 是 将 应 用 拆 分 为 不 同 的 部 分 ， 而 最 后 生成 的 代码 仍 将 在 单个 进程 
中 运行 。 开 发 人 员 通 过 使 用 外 部 库 或 框架 来 重 构 应 用 从 而 做 到 这 一 点 。 这 些 工具 可 以 
是 内 部 的 ， 或 来 自 开源 软件 (Open Source Software，OSS) 社 区 。 

如 果 使 用 诸如 Flask 的 框架 在 Python 中 构建 Web 应 用 , 可 将 焦点 放 在 业务 逻辑 上 。 
最 吸引 人 的 地 方 是 能 把 自己 的 代码 外 部 化 ， 变 成 Flask 的 扩展 和 较 小 的 Python 包 。 将 
代码 拆 分 是 控制 应 用 程序 增长 的 好 方法 。 


“小 而 美 ? 


例如 ， 可 使 用 Reportlab 和 一 些 模板 ， 将 酒店 预订 应 用 中 的 PDF 生成 器 拆 分 成 
Python 包 。 

这 个 软件 包 可 在 其 他 一 些 应 用 中 重用 ， 甚 至 可 发 布 到 了 Python 包 索 引 yPD 中 。 

但 你 构建 的 依然 是 一 个 单 体 应 用 ， 很 多 问题 依然 存在 。 例 如 无 法 按照 不 同 的 部 分 
扩展 ， 缺 陷 依赖 会 导致 任何 间接 错误 

还 会 因为 构建 时 使 用 了 依赖 而 遇 到 新 挑战 。 其 中 一 个 问题 是 依赖 地 狱 ， 如 果 应 用 
的 一 部 分 使 用 了 某 个 工具 库 , 但 PDF 生成 器 只 能 用 这 个 工具 库 的 特定 版 本 ， 最 终 将 不 
得 不 使 用 一 些 怪异 的 解决 方案 来 处 理 ， 甚 至 在 分 支 上 定制 开发 一 个 修复 。 

当然 本 节 中 描述 的 所 有 问题 都 不 可 能 在 项 目的 第 一 天 出 现 ， 而 是 随 着 时 间 推 移 慢 
慢 堆积 起 来 。 

下 面 看 看 如 果 使 用 微服 务 来 构建 相同 的 应 用 ， 会 是 什么 样 的 。 


1.3 ”微服 务 架构 


如 果 使 用 微服 务 构建 相同 功能 的 应 用 ， 就 可 用 拆 分 出 的 多 个 组 件 来 管理 代码 ， 每 
个 组 件 运行 在 独立 的 线程 中 。 我 们 不 需要 使 用 单一 应 用 负责 所 有 事项 ， 而 是 如 图 1-2 
所 示 拆 分 成 多 个 微服 务 。 
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图 1-2 拆 分 成 多 个 微服 务 


图 中 显示 的 组 件数 量 较 多 ， 但 不 必 望 而 生 旦 。 在 单 体 应 用 中 ， 内 部 交互 只 对 内 部 
的 某 个 部 分 可 见 。 我 们 已 经 转移 了 一 些 复杂 性 ， 最 终 得 到 7 个 独立 组 件 : 

(1) 预订 UI: 一 个 前 端 服务 ， 用 来 生成 Web UI 界面 ， 会 与 其 他 所 有 微服 务 发 生 
交互 。 

(2) “PDF 报表 ”服务 : 一 个 非常 简单 的 服务 ， 通 过 给 定 的 模板 和 数据 把 收据 或 
者 任何 文档 创建 成 PDF。 

(3) 查找 : 一 个 可 根据 城市 名 查询 酒店 列表 的 服务 ， 这 个 服务 有 自己 的 数据 库 。 

(4) 支付 : 一 个 和 第 三 方 银 行 服务 交互 的 服务 ， 管 理 记 账 数据 库 。 支 付 成 功 时 会 
发 送 电子 邮件 。 

(5) WT: 存储 预订 信息 ， 并 生成 PDF。 

(6) 用 户 : 存储 用 户 信息 ， 通 过 电子 邮件 和 用 户 交互 。 

(7) 身份 验证 : 一 个 基于 OAuth2 来 返回 身份 验证 令 牌 的 服务 , 每 个 微服 务 都 可 在 
请 求 其 他 服务 时 用 它 进行 身份 验证 。 

这 些微 服务 ， 连 同 诸如 电子 邮件 的 外 部 服务 ， 将 提供 和 单 体 应 用 相同 的 功能 集 。 
这 个 架构 中 的 每 个 组 件 都 使 用 HITP 协议 进行 通信 , 通过 REST 风格 的 Web 接口 提供 
服务 。 

由 于 每 个 微服 务 都 在 内 部 处 理 自己 的 数据 结构 ， 所 以 不 需要 中 心 化 的 数据 库 ， 使 
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和 语言 无 关 的 格式 (如 JSON) 输 入 和 输出 数据 。 可 使 用 任何 程序 语言 都 能 生成 和 使 用 
的 XML EÈ YAML 格式 ， 最 后 通过 HTTP 请 求 和 响应 进行 传输 。 

“预订 UI” 服 务 有 些 不 同 ， 因 为 它 主要 用 来 生成 UI 页 面 。 依 赖 于 UI 使 用 的 前 端 杠 
架 ,“ 预 订 UI” 服 务 输出 的 可 能 是 混合 的 HTML 和 JSON; 如 果 使 用 基于 静态 JavaScript 
的 客户 端 工具 直接 在 浏览 器 中 生成 界面 ， 甚 至 可 以 是 普通 JSON.。 

除了 这 个 特殊 的 UI 情形 ， 使 用 微服 务 架构 设计 的 Web 应 用 由 多 个 使 用 HTTP 进 
行 交 互 的 微服 务 组 成 。 
这 种 场景 下 , 微服 务 是 聚焦 于 特定 任务 的 逻辑 单元 。 这 里 尝试 给 出 一 个 完整 定义 : 


微服 务 是 一 个 轻 量 级 应 用 ， 它 通过 定义 良好 的 契约 提供 一 组 有 限 的 功能 。 它 
是 具有 单一 责任 的 组 件 ， 可 独立 开发 和 部 署 。 


此 定义 没有 提 及 HTTP BK ISON, 因为 也 可 以 考虑 一 个 基于 UDP 来 交换 二 进 制 数 
据 的 微服 务 。 

但 在 本 书 的 案例 中 ， 所 有 微服 务 都 是 使 用 HTTP 协议 的 简单 Web 应 用 ,都 使 用 和 
生成 JSON(UI 情形 除外 )。 


1.4 ”微服 务 的 益处 


虽然 微服 务 架构 看 起 来 比 单 体 架构 复杂 得 多 ， 但 其 益处 颇 多 : 
e 分 离 团队 的 关注 点 

e 处 理 更 小 的 项 目 

e 更 多 的 扩展 和 部 署 选项 

下 面 将 详细 讨论 这 些 内 容 。 


141 分 离 团队 的 关注 点 


首先 ， 每 个 微服 务 可 由 一 个 团队 独立 开发 。 例 如 ， 构 建 “ 预 订 ” 服 务 可 以 是 一 个 
完整 项 目 。 只 要 有 一 个 良好 的 HTTP API 说 明文 档 ， 负 责 开 发 的 团队 可 使 用 任何 编程 
语言 和 数据 库 。 

其 次 ， 这 意味 着 应 用 的 演进 比 单 体 架构 更 容易 控制 。 例 如 ， 如 果 支 付 系统 更 改 其 
与 银行 的 交互 ， 则 影响 范围 只 限于 该 服务 内 部 ， 其 余 应 用 将 保持 稳定 ， 甚 至 完全 不 受 
影响 。 

这 种 松 耦 合 极 大 地 提高 了 整个 项 目的 开发 速度 ， 从 服务 层面 讲 ， 这 是 一 种 类 似 于 
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“单一 职责 原则 ”的 哲学 逻辑 。 

单一 职责 原则 由 Robert Martin 定义 ， 一 个 类 应 该 只 有 一 个 令 其 改变 的 原因 。 换 句 
话说 ， 每 个 类 应 该 提供 单一 的 、 定 义 良好 的 功能 。 在 微服 务 层面 ， 每 个 微服 务 都 应 该 
聚焦 在 单个 角色 上 。 


142 ”更 小 的 项 目 


第 二 个 益处 是 降低 了 项 目的 复杂 度 。 例 如 向 应 用 添加 一 个 “PDF 报表 ”功能 时 ， 
即便 代码 很 干净 ， 仍 会 让 代码 库 变 得 更 大 ， 更 复杂 ， 有 了 时 还 会 更 慢 。 而 在 单独 应 用 中 
构建 该 功能 可 避免 此 问题 ， 因 为 可 更 容易 地 使 用 任何 工具 来 编程 。 可 频繁 地 重 构 它 ， 
缩短 发 布 周期 ， 聚 焦 在 最 重要 的 事项 上 。 应 用 的 增长 尽 在 掌控 中 。 

在 完善 应 用 时 ， 小 项 目 还 能 减少 风险 : 如 果 团 队 想 尝试 最 新 的 编程 语言 或 框架 ， 
他 们 可 在 实现 相同 微服 务 API 的 原型 上 通过 快速 欠 代 来 试 一 下 ， 然 后 决定 是 否 继续 使 
新 的 编程 语言 或 框架 。 

一 个 浮现 在 我 脑海 中 的 真实 例子 是 Firefox 的 同步 存储 微服 务 , 通过 一 些 实验 , 从 
当前 的 Python+MySQL 实现 切换 到 基于 Go 语言 的 实现 ， 会 将 用 户 的 数据 存储 在 独立 
的 SQLite 数据 库 中 。 该 原型 具有 很 高 的 实验 性 质 , 但 由 于 我 们 已 将 存储 功能 和 定义 展 
好 的 HTTP API 隔离 在 一 个 微服 务 中 ， 很 容易 让 一 小 部 分 用 户 试用 新 方案 。 


a 
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最 后 ， 将 应 用 程序 拆 分 为 组 件 更 便于 在 限制 下 进行 扩展 。 假 设 每 天 都 有 很 多 顾客 
预订 酒店 ,而 PDF 生成 开始 消耗 更 多 CPU。 这 时 你 可 将 这 个 特定 服务 部 署 到 具有 更 
K CPU 的 服务 器 上 。 

另 一 个 典型 例子 是 消耗 内 存 的 微服 务 ， 例 如 与 诸如 Redis 或 Memcache 的 内 存 数 
据 库 进行 交互 。 你 可 通过 将 微服 务 部 署 到 具有 更 少 CPU、 更 多 内 存 的 服务 器 上 来 调整 
部 署 。 

总 之 ， 微 服务 的 益处 如 下 : 

e 团队 可 独立 开发 每 个 微服 务 ， 使 用 任何 技术 栈 都 没 问题 。 可 自行 定义 发 布 周 

期 。 而 全 部 需要 定义 的 只 是 与 语言 无 关 的 HITP API。 

e 开发 者 将 复杂 的 应 用 拆 分 成 逻辑 单元 ， 每 个 微服 务 只 关注 将 自己 的 事情 做 好 。 

e 由 于 微服 务 是 独立 应 用 ， 因 此 可 对 部 署 进行 更 精细 的 控制 ， 让 扩展 变 得 更 

容易 。 

微服 务 架构 有 利于 解决 应 用 开始 增长 后 可 能 出 现 的 诸多 问题 。 然 而 ， 我 们 需要 意 


第 1 章 理解 微服 务 


识 到 ， 在 实践 中 ， 微 服务 架构 也 会 带 来 一 些 新 问题 。 


1.5 ”微服 务 的 缺陷 


如 前 所 述 ， 用 微服 务 构建 应 用 有 很 多 益处 ， 但 它 并 非 是 万 能 的 。 
下 面 列 出 在 编写 微服 务 时 ， 可 能 需要 处 理 的 主要 问题 : 

e 不 合理 的 拆 分 
e 更 多 的 网 络 交互 
e 数据 存储 和 分 享 
e 兼容 性 问题 

e 测试 

下 面 将 详细 讨论 这 些 问题 。 


1.5.1 不 合理 的 拆 分 


微服 务 体系 架构 的 第 一 个 问题 是 ， 它 如 何 被 设计 出 来 ? 在 第 一 次 尝试 中 ， 团 队 不 
可 能 马上 想 出 完美 的 微服 务 架构 。 诸 如 PDF 生成 器 的 微服 务 是 个 明显 的 用 例 。 但 是 ， 
处 理 业务 逻辑 时 ， 在 你 领悟 到 如 何 拆 分 出 正确 的 微服 务 集 之 前 ， 你 的 代码 很 可 能 是 摇 
摆 不 定 的 。 

通过 不 断 试 错 ， 设 计 才能 逐渐 趋 于 成 熟 。 而 添加 或 删除 微服 务 可 能 比重 构 单 体 应 
j 更 令 人 痛苦 。 如 果 没 有 证 据 表 明 需 要 拆 分 ， 不 必 先 将 应 用 拆 分 成 微服 务 。 


过 早 拆 分 是 万 恶 之 源 。 


如 果 对 拆 分 的 意义 心 存疑 问 ， 保 持 代码 在 同一 个 应 用 中 是 安全 的 选择 。 因 为 拆 分 
决定 可 能 是 错 的 ， 所 以 晚 一 点 把 代码 拆 分 到 一 个 新 的 微服 务 中 比 把 两 个 微服 务 重新 合 
几 到 一 个 代码 库 更 容易 一 些 。 

例如 ， 如 果 你 总 是 必须 一 起 部 署 两 个 微服 务 ， 或 一 个 微服 务 的 改变 会 影响 另 一 个 
数据 模型 ， 很 可 能 是 你 没有 正确 地 拆 分 应 用 ， 这 两 个 服务 应 该 重新 合并 。 


H 


1.5.2 ”更 多 的 网 络 交互 


用 微服 务 构建 应 用 时 ， 第 二 个 问题 是 会 增加 网 络 交互 。 而 在 单 体 版 本 中 ， 即 使 代 
码 变 得 混乱 ， 所 有 处 理 也 都 在 一 个 进程 中 ， 可 在 不 需要 调用 太 多 后 端 服务 的 情况 下 生 
成 实际 响应 ， 然 后 返回 结果 。 


TT 
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对 于 微服 务 架构 ， 需 要 额外 注意 每 个 后 端 服 务 的 调用 方式 ， 下 面 是 可 能 出 现 的 
问题 : 
o 如 果 由 于 网 络 隔离 或 服务 延迟 ，“ 预 订 UI” 服 务 无 法 调用 “PDF 报表 ”服务 ， 
会 有 什么 后 果 ? 
e “预订 UI” 服 务 请 求 其 他 服务 是 同步 的 还 是 异步 的 ? 
e 这 将 如 何 影响 响应 时 间 ? 
我 们 需要 有 一 个 坚定 的 战略 来 回答 所 有 这 些 问 题 ， 这 个 主题 将 在 第 5 章 中 讨论 。 


153 ”数据 的 存储 和 分 享 


另 一 个 问题 是 数据 的 存储 和 分 享 ， 有 效 的 微服 务 需要 独立 于 其 他 微服 务 ， 理 想 情 

况 下 ， 不 应 该 共享 数据 库 。 那 么 ， 这 对 酒店 预订 应 用 意味 着 什么 ? 

下 次 引发 了 许多 问题 : 

e 是 否 在 所 有 数据 库 中 使 用 相同 的 用 户 ID, 或 者 每 个 服务 都 有 独立 的 ID 并 作为 
隐藏 的 实现 细节 来 保存 ? 

e 一 旦 用 户 添加 到 系统 中 ， 能 否 通过 诸如 “数据 抽取 ”的 策略 将 用 户 信息 复制 
到 其 他 服务 数据 库 中 ， 这 么 做 是 不 是 过 度 重 复 了 ? 

e 如 何 处 理 数据 删除 ? 

以 上 都 是 难以 回答 的 问题 ， 本 书 将 介绍 许多 不 同 的 方法 来 解决 它们 。 


@ 在 设计 基于 微服 务 的 应 用 时 ， 一 个 最 大 的 挑战 是 如 何在 保持 微服 务 隔离 的 同 
时 尽量 避免 数据 重复 。 


+n 


154 ”兼容 性 问题 


另 一 个 问题 发 生 在 当 功 能 更 改 影响 到 多 个 微服 务 时 。 如 果 不 能 向 后 兼容 ， 而 且 更 
改 影 响 到 服务 之 间 的 数据 传输 方式 ， 你 将 遇 到 很 多 麻烦 。 

你 部 署 的 新 服务 能 否 与 旧版 本 的 其 他 服务 一 起 使 用 ? 或 者 你 是 否 需要 一 次 修改 和 
部 署 多 个 服务 ? 这 是 不 是 说 你 可 能 无 意 中 发 现 一 些 应 该 合并 在 一 起 的 服务 ? 

良好 的 版 本 控制 和 干净 的 API 设计 有 助 于 缓解 这 些 问 题 ， 本 书后 面 将 详细 讲解 这 
个 问题 。 


15.5 测试 


最 后 ， 如 果 要 进行 端 到 端的 测试 并 部 署 整个 应 用 ， 现 在 需要 测试 很 多 积木 一 样 的 
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微服 务 。 要 有 一 个 强健 且 敏 捷 的 过 程 才 能 高 效 部 署 。 在 开发 时 要 顾及 完整 应 用 。 你 不 
可 能 做 到 只 根据 其 中 一 个 微服 务 就 完整 地 测试 整个 应 用 。 

幸运 的 是 ， 现 在 有 许多 工具 可 帮助 部 署 使 用 多 个 组 件 构建 的 应 用 ， 我 们 也 将 在 书 
中 学 到 这 些 工 具 。 所 有 这 些 工具 推动 了 微服 务 架构 的 成 功 和 采用 ; 如 果 没 有 这 些 工具 ， 
微服 务 也 不 会 是 今天 的 面貌 。 


微服 务 风格 架构 促进 了 部 署 工具 的 革新 ， 部 署 工具 降低 了 微服 务 风格 架构 的 
获准 门槛 。 


下 面 总 结 一 下 微服 务 的 缺陷 : 

e 过 早 将 应 用 拆 分 成 微服 务 可 能 导致 架构 设计 问题 。 

e 微服 务 之 间 的 网 络 交 互 增加 了 开销 。 

e 测试 和 部 署 微 服务 较为 麻烦 。 

。 最 大 的 挑战 ， 不 同 微服 务 之 间 很 难 共享 数据 。 

本 节 提 到 的 所 有 这 些 缺陷 其 实 都 不 必 过 于 担心 。 它 们 看 起 来 似乎 难以 应 对 ， 传 统 
的 单 体 应 用 好 像 更 安全 一 些 。 但 从 长 远 看 ， 通 过 将 项 目 拆 分 成 微服 务 ， 开 发 和 运 维 工 
作 都 变 得 更 容易 了 。 


1.6 ”使 用 Python 实现 微服 务 


Python 是 一 门神 奇 的 多 用 途 语 言 。 

你 可 能 已 经 知道 ，Python 可 用 来 构建 很 多 不 同类 型 的 应 用 程序 ， 从 用 来 执行 服务 
器 任务 的 简单 系统 脚本 ， 到 为 数 百 万 用 户 提供 服务 的 大 型 面向 对 象 应 用 。 

根据 Philip Guo 在 2014 年 发 布 在 美国 计算 机 协会 (Association for Computing 
Machinery) 网 站 上 的 一 项 研究 ，Python 在 美国 顶尖 大 学 的 使 用 率 已 经 超过 Java， 成 为 
学 习 计 算 机 科学 最 流行 的 语言 。 

这 一 趋势 在 软件 行业 也 是 如 此 。Python 现在 位 列 TIOBE 索引 http://wwwi.tiobe. 
com/tiobe-index/) 的 前 五 名 ， 在 Web 开发 领域 的 市 场 份额 可 能 更 大 ， 因 为 像 C 这 样 的 
语言 很 少 被 用 来 构建 Web 应 用 程序 。 


本 书 假设 你 已 经 熟悉 Python 编程 语言 。 如 果 你 还 不 是 一 个 富有 经 验 的 Python 
开发 者 ， 可 阅读 本 书 作者 的 另 一 本 书 Expert Python Programming, Second 
Edition， 来 学 习 高 阶 Python 编程 技能 。 


有 些 开发 者 批评 Python 的 速度 慢 ， 不 适合 构建 Web 服务 。Python 的 确 有 些 慢 ， 
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但 依然 是 构建 微服 务 的 语言 选项 ， 许 多 大 公司 都 乐意 使 用 它 。 

本 节 将 给 出 使 用 不 同方 法 来 构建 Python 微服 务 的 背景 , 还 给 出 关于 异步 与 同步 编 
程 的 一 些 深 刻 见 解 ， 最 后 总 结 有 关 Python 性 能 的 一 些 细节 。 

本 节 包 含 5 个 部 分 : 

e WSGI 标准 

o greenlet 和 gevent 模块 

e Twisted 和 Tornado 模块 

e asyncio 模块 


。 语言 性 能 


1.6.1 WSGI 标 准 


可 以 很 方便 地 用 Python 创建 和 运行 Web 应 用 , 这 是 Python 吸引 大 多 数 Web 开发 
者 的 原因 。 

受到 公共 网 关 接 口 (Common Gateway Interface, CGD, Python Web 社区 建 
立 了 一 个 标准 ， 称 为 WSGI (Web Server Gateway Interface, Web 服务 器 网 关 接口 )。 有 
了 WSGI， 可 更 方便 地 编写 Python 应 用 来 支持 HTTP 请 求 。 

使 用 这 个 标准 编码 时 ， 即 可 通过 uwsgi 或 mod_wssgi 等 WSGI 扩展 ， 由 Apache 或 
nginx 等 标准 服务 器 执行 项 目 。 

应 用 只 需要 处 理 传 入 请 求 并 返 
细节 。 

使 用 普通 Python 模块 ， 只 需要 不 到 10 行 代码 ， 即 可 创建 一 个 返回 服务 器 本 地 时 
间 的 功能 完备 的 微服 务 。 下 面 是 代码 : 


a 


JSON 响应 ，Python 在 标准 库 中 包含 了 所 有 实现 


import json 


import time 


def application(environ, start_response) : 
headers = [('Content-type', 'application/json"') ] 
start_response('200 OK', headers) 
return [bytes(json.dumps({'time': time.time()}), "utf8"')] 


自从 WSGI 协议 建立 ， 它 就 成 为 一 个 重要 标准 ，Python Web 社区 广泛 采用 了 它 。 
开发 者 通过 编写 可 挂 在 WSGI 应 用 之 前 或 之 后 的 功能 性 中 间 件 , 在 Web 应 用 环境 中 完 
成 不 同 的 事情 。 

一 些 Web 框架 ， 如 Bottle(http://bottlepy.org)， 就 是 专门 根据 该 标准 创建 的 。 此 后 ， 
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很 多 框架 都 可 在 WSGI 协议 下 使 用 。 

使 用 WSGI 的 最 大 问题 是 原生 同步 性 。 对 于 每 个 传 入 请 求 ， 都 会 调用 上 述 代 码 中 
的 application 函数 一 次 , 当 函 数 返 回 时 , 必须 发 回响 应 。 这 意味 着 , 每 次 调用 application 
函数 时 ， 在 响应 准备 好 之 前 ， 都 会 阻塞 。 

对 于 这 种 情况 下 编写 的 微服 务 ， 代 码 总 是 需要 等 待 各 种 网 络 资源 的 响应 。 换 句 话 
说 ， 这 时 你 的 应 用 是 停顿 的 ， 在 所 有 东西 准备 好 之 前 ， 客 户 端 会 被 阻塞 。 

对 HTTP API 来 说 ， 这 样 做 问题 不 大 。 我 们 并 非 讨论 构建 双向 应 用 (如 基于 Web 
套 接 字 的 应 用 )。 但 是 ， 当 你 的 应 用 同时 收 到 多 个 调用 请 求 时 会 发 生 什 么 ? 

WSGI 服务 器 允许 运行 一 个 线程 池 ， 来 并 发 服务 多 个 请 求 。 但 你 不 可 能 运行 几 千 
个 线程 ;一 旦 线程 池 耗 尽 ， 即 便 微服 务 除 等 待 后 端 服务 响应 外 无 所 事 事 ， 下 一 个 请 求 
还 是 会 阻塞 客户 的 访问 。 

出 于 上 述 原 因 及 其 他 因素 ， 诸 如 Twisted 或 Tomado 的 非 WSGI 框架 ， 以 及 
JavaScript 领域 的 Nodejs 都 大 获 成 功 ， 因 为 它们 完全 是 异步 框架 。 

在 编写 Twisted 应 用 时 ， 可 使 用 回调 来 暂停 和 恢复 生成 响应 的 工作 。 此 时 ， 可 接 
受 一 个 新 请 求 并 开始 处 理 。 该 模型 极 大 地 缩短 了 进程 的 停顿 时 间 。 可 服务 数 千 个 并 发 
请 求 。 当 然 ， 这 并 非 说 应 用 会 更 快 地 返回 每 个 响应 ， 只 是 说 一 个 进程 可 接受 更 多 并 发 
请 求 ， 在 数据 准备 好 之 前 ， 能 在 请 求 间 进 行 切换 。 

在 WSGI 标准 中 没有 一 个 简单 方式 可 做 到 同样 的 事情 ， 虽 然 社区 内 争论 了 多 年 ， 


但 最 终 没 能 达成 共识 。 社 区 最 终 可 能 放弃 WSGI 标准 。 

同时 ， 如 果 你 的 部 署 考虑 到 WSGI 标准 的 “一 个 请 求 对 应 一 个 线程 ”限制 ， 那 么 
使 用 同步 框架 构建 微服 务 仍然 是 可 能 的 。 

不 过 还 有 一 个 诀 穿 来 提升 同步 的 Web 应 用 ， 这 就 是 greenlet， 下 一 节 将 对 此 进行 


解释 。 
1.6.2 greenlet 和 gevent 模块 


异步 编程 的 一 般 原 则 是 , 让 进程 处 理 多 个 并 发 执行 的 上 下 文 来 模拟 并 行 处 理 方式 。 

异步 应 用 使 用 一 个 事件 循环 ， 当 一 个 事件 触发 时 暂停 或 恢复 执行 上 下 文 ， 只 有 一 
个 上 下 文 处 于 活动 状态 ， 上 下 文 之 间 进 行 轮 蔡 。 代 码 中 的 显 式 指令 将 告诉 事件 循环 ， 
哪里 可 暂停 执行 。 这 时 ， 进 程 将 查找 其 他 待 处 理 的 线程 进行 恢复 。 最 终 ， 进 程 将 回 到 
函数 暂停 的 地 方 并 继续 运行 。 从 一 个 执行 上 下 文 移 到 另 一 个 称 为 “切换 ”。 

greenlet 项 目 (https://github.com/python-greenlet/greenlet) 是 根据 Stackless 项 目 构建 
的 程序 包 ， 是 一 个 特别 的 CPython 实现 。 

greenlet 是 易于 实例 化 的 伪 线 程 ， 可 用 来 调用 Python 函数 。 在 这 些 函 数 中 ， 可 切 
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换 到 另 一 个 函数 ， 即 将 控制 权 交 给 另 一 个 函数 。 切 换 是 通过 事件 循环 完成 的 ， 允 许 使 


用 类 似 线程 的 接口 范式 来 编写 异步 应 用 。 


下 面 是 greenlet 文档 中 的 一 个 例子 : 


rom greenlet import greenlet 


def test1(x, y): 


z = gr2.switch (x+y) 
print (z) 


def test2 (u): 


g: 
g: 
g: 


print (u) 
gr1.switch (42) 


rl = greenlet (test1) 
r2 = greenlet (test2) 
r1.switch("hello", " world") 


上 例 中 的 两 个 greenlet 显 式 地 从 一 个 切换 到 另 一 个 。 
为 构建 基于 WSGI 标准 的 微服 务 ， 如 果 底层 代码 使 用 greenlet， 我 们 可 接受 多 个 
并 发 请 求 ， 当 知道 一 个 调用 将 阻塞 请 求 (如 IO 请 求 ) 时 ， 只 需要 从 一 个 请 求 切换 到 另 


一 个 


难以 到 


不 过 ， 从 一 个 greenlet 切换 到 另 一 个 需要 显 式 地 完成 ， 这 会 导致 代码 变 得 混乱 ， 


E 解 。 这 就 轮 到 gevent 大 显 身手 了 。 


gevent(http://www.gevent.org/) 项 目 构建 在 greenlet 的 上 层 ， 能 采用 隐 性 方式 在 
greenlet 之 间 自 动 切换 ， 它 还 有 其 他 许多 功能 。 


gevent 提供 了 socket 模块 的 协作 版 本 ， 当 socket 中 的 一 些 数据 准备 好 后 ， 会 使 用 


greenlet 自动 地 暂停 或 恢复 执行 。 甚 至 有 一 个 monkey patch 功能 ， 可 自动 用 gevent 版 
本 的 socket 来 替代 标准 库 socket。 只 需要 通过 一 行 额外 代码 就 可 让 你 的 标准 同步 代码 
魔术 般 地 每 次 都 异步 使 用 socket: 


f 


def application (environ, start_response) : 


rom gevent import monkey; monkey.patch_all() 


headers = [('Content-type', 'application/json') ] 
start_response('200 OK', headers) 
# ...do something with sockets here... 


return result 
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当然 这 种 隐 含 的 魔力 是 有 代价 的 。 为 使 gevent 正常 工作 ， 所 有 底层 代码 都 需要 与 


gevent 补丁 兼容 。 来 自 社区 的 一 些 包 可 能 因此 继续 阻塞 或 返回 非 期 望 的 结果 ;如 果 这 
些 包 使 用 C 语言 扩展 ,并 绕 过 了 打上 gevent 补丁 的 标准 库 的 一 些 功能 ,这 表现 得 尤其 
明显 。 


不 过 大 多 数 情况 下 都 能 正常 工作 。 而 且 ， 与 gevent 配合 良好 的 项 目 会 被 标记 成 绿 


色 ， 如 果 一 个 库 不 能 与 gevent 配合 ， 社 区 通常 会 要 求 库 的 作者 修复 成 绿色 。 


例如 ， 在 Mozilla， 这 用 来 扩展 Firefox Sync 服务 。 


1.6.3 Twisted 和 Tomado 模块 


= 


可 


如 果 增 加 并 发 请 求 数 量 对 你 构建 的 微服 务 很 重要 ， 可 尝试 放弃 WSGI 标 准 ， 而 使 


有 诸如 Tomado(http://www.tormmadoweb.org/) 或 Twisted(https://twistedmatrix.com/trac/) 的 
异步 框架 。 


Twisted 已 经 存在 多 年 。 要 实现 相同 的 微服 务 ， 需 要 编写 的 代码 要 略微 长 一 些 ， 如 


下 所 示 : 


import time 
import json 
from twisted.web import server, resource 


from twisted.internet import reactor, endpoints 


class Simple (resource.Resource): 
isLeaf = True 
def render GET (self, request) : 
request . responseHeaders .addRawHeader ( b"content-type", 
b"application/json") 


return bytes (json.dumps({'time': time.time()}), 'utf8') 


site = server.Site(Simple()) 
endpoint = endpoints.TCP4ServerEndpoint (reactor, 8080) 
endpoint. listen (site) 


reactor.run() 


虽然 Twisted 是 一 个 非常 健壮 和 高 效 的 框架 ， 但 使 用 它 构建 HITP 微服 务 时 ， 你 
能 遇 到 下 列 问题 : 
o 必须 使 用 从 Resource 类 派生 的 类 (该 类 实现 了 每 个 支持 的 方法 ) 来 实现 微服 务 
的 每 个 端点 。 对 于 简单 的 API 来 说 ， 它 增加 了 很 多 样板 代码 。 
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e 由 于 是 原生 异步 的 ，Twisted 代码 可 能 很 难 理解 和 调试 。 
© 当 你 串联 了 很 多 功能 ， 又 将 其 逐一 触发 时 ， 很 容易 掉 进 回调 地 狱 一 一 代码 会 
变 得 混乱 。 
o 很 难 正确 测试 Twisted 应 用 ， 你 必须 使 用 Twisted 特定 的 单元 测试 模型 。 
Tomado 基 于 类 似 的 模型 , 但 在 某 些 领域 做 得 更 好 。 它 有 一 个 量 级 更 轻 的 路 由 系统 ， 
并 尽 可 能 使 代码 更 接近 普通 Python。Torado 也 使 用 回调 模型 ， 所 以 调试 难度 较 大 。 
但 这 两 个 框架 都 努力 借助 Python 3 中 引入 的 新 异步 功能 来 弥补 差距 。 


1.6.4 asyncio 模块 


当 Guido van Rossum 开始 在 Python 3 中 添加 异步 功能 时 ， 社 区 的 一 部 分 人 认为 ， 
以 同步 、 顺序 化 方式 编写 应 用 更 合理 一 些 , 不 必 像 Tomado 或 Twisted 那样 必须 添加 显 
式 回调 。 这 些 人 推荐 使 用 类 似 gevent 的 解决 方案 。 
但 Guido 选择 了 显 式 技术 , 并 在 Tulip 项 目 (该 项 目 受 到 Twisted 的 启发 ) 进 行 尝试 。 
最 后 ，asyncio 模块 从 Tulip 项 目 中 诞生 ， 并 添加 到 Python 中。 
事后 看 来 , 在 Python 中 实现 显 式 的 事件 循环 机 制 , 而 非 采用 gevent 的 方式 是 比较 
合理 的 。Python 核心 开发 人 员 编 写 了 asyncio， 优 雅 地 使 用 async 和 await 关键 字 来 扩 
展 Python 语言 实现 协 程 (coroutine)， 使 用 普通 Python 3.5+ 构 建 的 异步 应 用 代码 看 起 来 
非常 优雅 ， 而 且 很 接近 同步 编程 。 


@ 协 程 是 能 暂停 和 恢复 程序 执行 的 功能 。 第 12 章 将 详细 解释 如 何在 Python 中 
实现 协 程 以 及 如 何 使 用 协 程 。 


回调 语法 混乱 问题 经 常 出 现在 Nodejs 和 Twisted(Python 2) 应 用 中 。 但 通过 以 上 方 
式 ，Python 很 好 地 避免 了 此 类 问题 。 

除了 协 程 外 , Python 3 还 在 asyncio 包 中 引入 一 套 完整 的 功能 和 帮助 程序 来 构建 异 
步 应 用 ， 详 情 可 参阅 https://docs.python.org/3/library/asyncio.html. 

Python 现在 可 像 Lua 这 样 的 表达 式 语言 一 样 创 建 基于 协 程 的 应 用 ， 现 在 有 一 些 新 
框架 已 嵌入 这 些 功能 。 只 有 Python 3.5+ 版 本 支持 此 功能 。 

KeepSafe 的 aiohttp(http://aiohttp.readthedocs.io) 就 是 其 中 之 一 ， 只 需要 几 行 优雅 的 
代码 就 能 构建 完全 异步 的 微服 务 : 


from aiohttp import web 


import time 


async def handle (request): 
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return web.json_response({'time': time.time() }) 


if name == '_main_': 


app = web.Application () 
app.router.add_get(' /', handle) 
web.run_app (app) 


在 这 个 简短 示例 中 ， 实 现 方式 非常 类 似 于 同步 应 用 的 实现 方式 。 使 用 异步 的 唯一 
提示 是 async 关键 字 ，async 关键 字 用 来 指出 handle 函数 是 协 程 的 。 

这 就 是 将 在 异步 Python 应 用 的 每 个 级 别 上 使 用 的 方式 。 这 里 有 另 一 个 使 用 aiopg 
的 例子 ， 来 自 asyncio 的 PostgreSQL 库 的 项 目 文档 : 


import asyncio 


import aiopg 
dsn = 'dbname=aiopg user=aiopg password=passwd host=127.0.0.1' 


async def go(): 
pool = await aiopg.create_pool (dsn) 
async with pool.acquire() as conn: 
async with conn.cursor() as cur: 
await cur.execute ("SELECT 1") 
ret = [] 
async for row in cur: 
ret .append (row) 


assert ret == [(1,)] 


loop = asyncio.get_event_loop() 


loop.run_until_complete (go () ) 


通过 添加 少量 async 和 await 前 级 ， 让 执行 SQL 查询 和 返回 结果 的 函数 看 起 来 接 
近 于 同步 函数 。 

但 基于 Python 3 的 异步 框架 和 库 还 处 于 兴起 阶段 , 如 果 你 使 用 asyncio 或 诸如 aiohttp 
的 框架 ， 都 必须 在 每 个 需要 的 功能 中 使 用 特定 的 异步 实现 方式 。 

如 果 代码 中 需要 使 用 非 异 步 的 库 , 那么 需要 完成 一 些 额外 的 和 富有 挑战 性 的 工作 ， 
以 免 阻塞 事件 循环 。 

如 果 你 的 微服 务 处 理 的 资源 数量 有 限 ， 则 是 可 管理 的 。 但 在 撰写 本 书 期 间 ， 坚 持 
使 用 已 经 成 熟 的 同步 框架 可 能 比 使 用 异步 框架 更 安全 。 让 我 们 先 享用 目前 成 熟 的 程序 
包 的 生态 系统 ， 并 期 盼 asyncio 生态 系统 早日 走向 成 熟 ! 
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Python 中 有 很 多 同步 框架 可 用 来 构建 微服 务 ， 如 Bottle, Pyramid with Comice, 
Flask 等 。 


本 书 的 下 一 个 版 本 很 可 能 使 用 异步 框架 。 但 这 一 版 中 还 是 使 用 Flask 框架 。 

0 Flask 已 经 存在 了 一 段 时 间 , 非常 健壮 和 成 熟 , 但 请 记 住 ,无 论 使 用 什么 Python 
Web 框架 ， 都 应 能 接替 运行 本 书 中 的 所 有 示例 。 这 是 因为 所 有 构建 微服 务 的 
代码 都 非常 接近 于 普通 Python， 而 框架 的 主要 作用 是 路 由 请 求 并 提供 一 些 
帮助 。 


1.6.5 ”语言 性 能 


前 一 节 探 讨 了 两 种 编写 微服 务 的 不 同方 式 ， 异 步 和 同步 。 无 论 使 用 哪 种 技术 ， 
Python 的 速度 直接 影响 着 微服 务 性 能 。 

当然 ， 每 个 人 都 知道 Python 比 Java 和 Go 要 慢 ， 但 执行 速度 并 非 总 是 最 重要 的 。 
微服 务 通常 是 一 层 薄 薄 的 代码 ， 它 的 大 部 分 时 间 都 在 等 待 来 自 其 他 服务 的 网 络 响应 。 
Postgres 服务 器 需要 快速 返回 SQL 查询 结果 (因为 构建 响应 时 ， 其 中 花费 的 时 间 最 多 )， 
与 此 相 比 ， 对 于 微服 务 而 言 ， 内 核 速度 就 没 那么 重要 了 。 

当然 ， 让 应 用 尽快 运行 是 合情合理 的 要 求 。 

在 Python 社区 中 ,围绕 语言 加 速 的 一 个 有 争议 的 话题 是 GIL(Global Interpreter Lock) 
互 斥 会 破坏 性 能 ， 因 为 多 线程 应 用 不 能 使 用 多 个 进程 。 

GIL 的 存在 是 有 理由 的 ， 它 可 保护 CPython 解释 器 的 非 线 程 安全 部 分 ， 也 存在 于 
Ruby 等 其 他 语言 中 。 到 目前 为 止 , 所 有 试图 将 其 删除 的 尝试 都 未 能 加 快 CPython 实现 
的 速度 。 


Larry Hasting 正在 研究 一 个 名 为 Gilectomy(https://github.com/larryhastings/ 

i) gilectomy) 的 无 GIL CPython 项 目 。 它 的 最 低 目 标 是 提出 一 个 无 GIL 实 现 ， 能 使 
单线 程 应 用 的 运行 速度 达到 CPython 级 别 。 但 到 撰写 本 书 时 为 止 ， 还 是 慢 于 
CPython 的 。 跟 踪 这 个 项 目 ， 看 它 能 否 达到 “速度 相同 ”的 那 一 天 很 有 趣 ， 那 
时 ， 非 GIL CPython 将 非常 有 吸引 力 。 


对 于 微服 务 ， 除 了 阻止 在 同一 进程 中 使 用 多 个 内 核 外 ，GIL 也 会 由 于 互 斥 锁 带 来 
的 系统 调用 开销 而 降低 高 负载 时 的 系统 性 能 。 

然而 ， 围 绕 GIL 的 所 有 关注 是 有 益 的， 在 过 去 几 年 ， 已 经 做 了 一 些 工作 来 减少 解 
释 器 中 的 GIL 争夺 ， 这 让 Python 的 性 能 在 一 些 领域 有 了 极 大 提高 。 
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注意 ， 即 使 核心 团队 删除 GIL， 由 于 Python 是 一 门 解释 性 和 垃圾 收集 语言 ， 也 会 
遭受 这 些 特性 带 来 的 性 能 损失 。 

如 果 你 对 解释 器 如 何 分 解 函数 感 兴趣 ， 可 分 析 一 下 Python 提供 的 dis 模块 。 下 面 
的 示例 中 ， 解 释 器 将 一 个 生成 自 增值 的 函数 分 解 成 不 少 于 29 步 的 指令 操作 序列 : 


>>> def myfunc (data): 
for value in data: 


yield value + 1 


>>> import dis 


>>> dis.dis (myfunc) 


2 0 SETUP_LOOP 23 (to 26) 
3 LOAD_FAST 0 (data) 
6 GET_ITER 
>> 7 FOR_ITER 15 (to 25) 
10 STORE_FAST 1 (value) 
3 13 LOAD FAST 1 (value) 
16 LOAD CONST 1 Ww 


19 BINARY_ADD 

20 YIELD VALUE 

21 POP_TOP 

22 JUMP_ABSOLUTE 7 
>> 25 POP BLOCK 
>> 26 LOAD CONST 

29 RETURN_VALUE 


用 静态 编译 的 语言 编写 的 类 似 函 数 将 大 大 减少 生成 相同 结果 所 需 的 操作 数 . 不 过 ， 
还 有 一 些 方法 可 加 快 Python 的 执行 速度 。 

一 种 方法 是 构建 C 语言 扩展 ， 或 使 用 诸如 Cython(http:/cython.org/) 的 语言 静态 扩 
展 ， 将 代码 的 一 部 分 写 入 编译 代码 ， 但 这 会 使 代码 更 复杂 。 

另 一 种 最 有 前 景 的 解决 方案 是 ， 仅 使 用 PyPy 解释 器 (http://pypy.org/) 来 运行 应 用 。 

PyPy 实现 了 JIT(Just-In-Time) 编 译 器 ， 此 编译 器 在 运行 时 直接 用 CPU 可 使 用 的 机 
器 码 蔡 换 Python 片段 。JIT 的 策略 是 在 执行 前 ， 实 时 检测 何 时 编译 以 及 如 何 编 译 。 

虽然 PyPy 总 比 CPython 滞后 几 个 Python 版 本 ， 但 你 可 在 生产 环境 中 使 用 它 ， 而 
且 它 的 性 能 惊人 。 我 们 有 一 个 Mozilla 项 目 需要 快速 执行 , PyPy 版 本 的 程序 几乎 与 Go 
版 本 的 程序 一 样 快 ， 因 此 我 们 在 那里 改 用 Python- 
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要 了 解 PyPy 与 CPython 的 不 同 之 处 ,PyPy Speed Center 网 站 (http://speed.pypy. 
org/) 是 可 供 访问 的 绝 佳 场所 。 


如 果 你 的 程序 使 用 了 C 扩展 ， 则 需要 针对 PyPy 重新 编译 ， 这 是 一 个 问题 。 如 果 
其 他 开发 人 员 维护 你 使 用 的 某 些 扩展 ， 这 尤其 麻烦 。 

不 过 ， 如 果 你 用 一 组 标准 库 构建 微服 务 ， 则 很 可 能 可 直接 与 PyPy 解释 器 一 起 工 
作 ， 所 以 这 是 值得 一 试 的 。 

对 于 大 多 数 项 目 而 言 ,Python 及 其 生态 系统 的 好 处 大 大 超出 本 节 描述 的 性 能 问题 ， 
因为 微服 务 的 性 能 开销 很 少 是 一 个 问题 。 即 使 算 作 一 个 问题 ， 微 服务 方法 也 允许 你 在 
不 影响 系统 其 余部 分 的 情况 下 ， 重 新 编写 “性 能 关键 型 ”组 件 。 
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本 章 比 较 了 构建 Web 应 用 所 用 的 单 体 方法 和 微服 务 方法 。 很 明显 ,这 两 个 选项 并 
非 严重 对 立 ， 你 并 不 需要 在 第 一 天 就 做 出 抉择 并 坚持 到 底 。 

可 使 用 单 体 来 启动 项 目 ， 然 后 用 微服 务 加 以 改进 。 随 着 项 目 逐 渐 成 熟 ， 部 分 服务 
逻辑 应 迁移 到 微服 务 中 。 这 是 你 从 本 章 学 到 的 有 用 方法 ， 但 需要 小 心地 避免 落 入 一 些 
常见 陷阱 。 

另 一 个 要 点 是 , Python 被 认为 是 编写 Web 应 用 的 最 佳 语言 之 一 , 也 是 编写 微服 务 
的 最 佳 语言 之 一 。 由 于 Python 提供 了 大 量 成 熟 的 框架 和 包 , 在 其 他 领域 也 被 经 常 使 用 。 

本 章 简单 介绍 了 几 个 同步 或 异步 框架 ， 在 本 书 的 后 续 章 节 ， 将 使 用 Flask 框架 。 

下 一 章 将 介绍 奇妙 的 Flask 框架 ， 即 使 你 之 前 不 熟悉 它 ， 也 很 可 能 会 喜欢 上 它 。 

最 后 ，Python 是 一 个 较 慢 的 语言 ， 在 某 些 特定 的 情况 下 这 可 能 是 一 个 问题 。 但 通 
过 弄 清楚 是 什么 让 它 变 慢 ， 几 个 避免 缓慢 的 解决 方案 足以 让 这 个 问题 变 得 不 再 重要 。 
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Flask 出 现 于 2010 年 左右 , 它 利 用 了 Werkzeug WSGI 工具 包 (http://werkzeug.pocoo. 
org/) 和 其 他 多 种 工具 (如 路 由 系统 )， 其 中 Werkzeug WSGI 工具 包 为 通过 WSGI 协议 与 
HTTP 请 求 交互 莫 定 了 基础 。 

Werkzeug 在 功能 层面 相当 于 Paste. Pylons 项 目 (http://pylonsproject.org) 是 一 个 全 
状 组 织 (包含 男 一 个 Web 框架 Pyramid 项 目 )， 在 一 定 程度 上 集成 了 Paste 和 许多 组 件 。 

上 面 这 些 项 目 与 Bottle(http://bottlepy.org/) 以 及 其 他 一 系列 项 目 一 起 ， 组 成 了 
Python 微 框架 生态 系统 。 

所 有 这 些 项 目 有 一 个 共同 目标 : 为 Python 社区 提供 简单 工具 ， 帮 助 应 用 开发 者 
更 快 地 构建 Web 应 用 。 

不 过 ， 术 语 “ 微 框架 (microframework)” 可 能 令 人 产生 一 些 误解 。 它 并 不 意味 着 只 
能 构建 微小 的 应 用 。 通 过 这 些 工 具 ， 将 能 构建 任何 应 用 一 一 甚至 一 个 大 型 项 目 。“ 微 ” 
前 级 的 含义 是 ， 这 些 框架 尽量 少 做 技术 决策 ， 而 将 决策 权 交 给 应 用 开发 者 。 你 可 按 扎 
己 的 方式 组 织 应 用 代码 ， 并 使 用 自己 喜欢 的 任何 库 。 


0H 微 框架 充当 “胶水 代码 ”的 角色 ， 它 将 请 求 传递 到 系统 ， 然 后 返回 响应 ， 它 
不 会 强迫 你 的 项 目 使 用 某 种 特定 模式 。 


这 种 哲学 理念 的 一 个 典型 例子 发 生 在 当 需 要 与 SQL 数据 交互 时 。 例 如 ， 诸 如 
Django 的 “内 置 电 池 ” 式 框架 提供 了 构建 Web 应 用 需要 的 所 有 组 件 ， 包 括 用 来 绑 定 
对 象 和 数据 库 查 询 结果 的 对 象 关系 映射 框架 (Object-Relational Mapper，ORMD)。 这 个 框 
架 的 其 余部 分 与 ORM 紧密 集成 。 

如 果 想 在 Django 中 使 用 其 他 ORM 框架 (如 SQLAlchemy)， 以 利用 那些 框架 的 某 
些 强大 功能 ， 却 并 不 容易 。 因 为 Django 的 整体 理念 是 提供 一 个 完整 的 工作 系统 ， 这 样 
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开发 人 员 能 专注 于 构建 最 初 的 业务 功能 。 

作为 另 一 套 生 态 ，Flask 框 架 并 不 关心 与 数据 交互 的 库 。Flask 仅 试 图 确保 它 有 充 
足 的 钩子 ， 以 便 让 外 部 库 能 通过 扩展 来 实现 各 种 功能 。 即 ， 如 果 想 在 Flask 中 使 用 
SQLAlchemy， 并 正确 地 使 用 SQL 会 话 和 事务 ， 很 可 能 需要 在 项 目 中 添加 诸如 
Flask-SQLAlchemy 的 软件 包 。 如 果 你 不 喜欢 这 个 软件 包 集 成 SQLAlchemy 的 方式 ， 那 
么 可 以 选择 另 一 个 ， 甚 至 可 自行 开发 这 部 分 集成 工作 。 

当然 ， 这 种 方式 不 是 完美 方案 。 完 全 自由 地 选择 ， 意 味 着 很 容易 作出 糟糕 决定 ， 
导致 构建 出 的 应 用 存在 问题 ， 要 么 依赖 于 有 缺陷 的 库 ， 要 么 设计 不 当 。 

先 不 必 担 心 这 些 问 题 ! 本 章 将 确保 你 理解 Flask 能 提供 什么 ， 以 及 在 构建 微服 务 
时 如 何 组 织 代码 。 

o 使 用 哪个 版 本 的 Python 
Flask 如 何 处 理 请 求 
Flask 的 内 置 特性 
一 个 微服 务 骨 架 


本 章 旨 在 让 你 了 解 使 用 Flask 构建 微服 务 所 需 的 一 切 。 为 此 ， 部 分 内 容 直 接 

0 引用 了 Flask 官方 文档 ， 在 构建 微服 务 时 ， 这 样 能 更 好 地 突出 有 趣 细节 和 其 
他 相关 事项 。Flask 在 线 文档 相当 优秀 。 一定 要 访问 http://flask.pocoo.org/docs 
阅读 Flask 用 户 指南 , 它 是 本 章 内 容 的 良好 补充 .Flask 的 代码 库 位 于 GitHub, 
地 址 在 hitps://github.conypallets/flask, 也 有 很 好 的 说 明文 档 。 当 需要 了 解 某 些 
工作 原理 时 ， 源 代码 永远 是 真相 之 源 。 


2.1 选择 Python 版 本 


在 深入 介绍 Flask 前 ， 先 回答 一 个 问题 。Flask 能 支持 多 个 版 本 的 Python， 那 么 应 
该 使 用 哪个 版 本 ? 

前 一 章 提 到 过 ，Python 3 已 经 有 了 令 人 难以 置信 的 进步 。 与 Python 3 不 兼容 的 软 
件 包 已 经 很 罕见 了 。 除 非 要 构建 非常 特殊 的 应 用 ， 和 否则 直接 使 用 Python 3 没有 任何 
问题 


基于 微服 务 的 架构 意味 着 每 个 应 用 运行 在 独立 环境 中 。 所 以 ， 根 据 项 目的 具体 情 
况 ， 让 某 些 应 用 使 用 Python 2， 让 另 一 些 应 用 使 用 Python 3 也 是 可 行 的 。 你 甚至 可 使 
用 PyPy。 
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针对 是 否 采 用 Python 3 这 个 问题 , Flask 的 创立 者 在 早期 并 没有 给 出 明确 回复 。 但 
现在 的 Flask 文档 明确 指出 , 新 项 目 应 该 开始 使 用 Python 3。 参 见 http://flask.pocoo.org/ 
docs/latest/python3/#python3-support. 
由 于 Flask 并 没有 使 用 Python 3 的 任何 最 前 沿 语言 特性 ， 因 此 ， 应 用 的 代码 最 终 
可 能 在 Python 2 和 了 Python 3 上 都 可 运行 。 在 最 糟 的 情况 下 ， npa TSn Six 
的 工具 ， 让 代码 能 同时 支持 两 个 版 本 。 

如 果 不 是 因为 限制 条 件 必须 使 用 Python 2， 那 么 通常 建议 使 用 Python 3. 2020 4 
后 ，Python 2 将 不 再 受 支 持 。 参 见 https://pythonclock.org/。 
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本 书 采用 最 新 的 Python 3.5 稳定 发 布 版 编写 所 有 示例 代码 ， 它 们 在 最 新 的 
Python 3.X 上 也 应 该 能 正常 运行 。 现 在 ， 请 确保 已 经 准备 好 Python 3 环境 ， 
并 安装 了 virtualenv(https://Virtualenv.pypa.io)。 本 书 的 所 有 示例 代码 都 运行 在 终 
端 上 。 


2.2 Flask 如 何 处 理 请 求 


Flask 框架 的 入 口 是 flask.app 模块 里 的 Flask 类 。 运 行 一 个 Flask 应 用 时 ， 其 实 是 
运行 这 个 类 的 单一 实例 , 它 负 责 处 理 传 入 的 WSGI 请 求 , 然后 分 发 给 正确 的 处 理 代码 ， 
最 终 返 回响 应 。 


WSGI 规 范 定义 了 Web 服务 器 和 Python 应 用 之 间 的 接口 .这 个 规范 使 用 单一 
映射 来 描述 传 入 请 求 ， 此 后 ， 诸 如 Flask 的 框架 负责 将 请 求 路 由 给 正确 的 可 
调用 对 象 。 

Flask 类 提供 了 路 由 (route) 方 法 ， 该 方法 可 装饰 函数 。 当 一 个 函数 被 装饰 后 ， 就 会 
成 为 一 个 视图 (view)， 并 被 注册 到 Werkzeug 的 路 由 系统 中 。 这 个 系统 使 用 一 个 极 小 的 
规则 引擎 来 匹配 传 入 请 求 和 视图 ， 稍 后 将 详细 介绍 这 个 过 程 。 

下 面 是 一 个 简单 但 完整 的 Flask 应 用 : 


from flask import Flask, jsonify 
app = Flask(__name_) 
@app. route ('/api') 


def my _microservice(): 


return jsonify({'Hello': 'World!"'}) 
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sth name == ' main ': 


app. run () 


访问 /api 时 ， 应 用 会 返回 一 个 JSON 映射。 如 果 访 问 其 他 任何 路 径 ， 应 用 会 返回 
404 错误 。 

变量 _name 是 这 个 应 用 软件 包 的 名 称 ,， 当 运行 一 个 单独 的 Python 模块 时 , 变量 

name SWEJ main > Flak 用 这 个 变量 实例 化 一 个 新 的 日 志 记录 器 (oggen， 

并 在 磁盘 上 定位 这 个 模块 所 在 文件 的 路 径 。Flask 将 使 用 该 文件 的 目录 作为 助手 程序 
(例如 与 应 用 程序 相关 的 配置 文件 ) 的 根 目 录 ， 并 根据 此 目录 确定 静态 文件 目录 (static) 
和 模板 目录 (templates) 的 默认 存放 位 置 。 

在 shell 中 运行 这 个 模块 时 ，Flask 会 运行 其 内 置 的 Web 服务 器 ， 并 在 5000 端口 
上 监听 传 入 的 请 求 。 


$ python flask basic.py 

* Running on http://127.0.0.1:5000/ (Press CTRL+C to quit) 

当 使 用 curl 命令 访问 /api 时 ， 会 得 到 一 个 合法 的 JSON 响应 和 正确 的 消息 头 。 这 
BF J jsonify0 函 数 ， 该 函数 负责 将 Python 字典 类 型 转换 成 合法 的 ISON 响应 ， 并 添 
加 适当 的 Content-Type 消息 头 。 

本 书 大 量 使 用 curl PA. Linux 或 macos 已 经 预 装 了 这 个 命令 。 请 参见 
https://curl.haxx.se/. 


$ curl -v http://127.0.0.1:5000/api 
* Trying 127.0.0.1... 


< HTTP/1.0 200 OK 
< Content-Type: application/json 
< Content-Length: 24 
< Server: Werkzeug/0.11.11 Python/3.5.2 
< Date: Thu, 22 Dec 2016 13:54:41 GMT 
< 
{ 
"Hello": "World!" 
} 


jsonify0 函 数 创建 一 个 响应 对 象 ， 并 将 映射 信息 转 储 到 响应 体 中 。 
许多 Web 框架 会 显 式 地 将 一 个 request 对 象 传递 到 代码 中 , 但 Flask 与 之 不 同 , 它 
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隐 式 地 提供 了 一 个 全 局 request 变量 ， 这 个 变量 指向 当前 的 request 对 象 。Flask 把 传 入 
的 HTTP 请 求解 析 成 WSGI 环境 字典 ， 并 利用 这 个 字典 创建 这 个 对 象 。 
a A Se: 就 像 上 例 那样 ， 如 果 服 务 器 的 响应 不 依赖 于 请 
求 的 内 容 ， 就 没 必要 处 理 它 。 视 图 只 需要 确保 返回 了 客户 端 应 该 获取 的 内 容 ， 并 确保 
内 容 能 被 Flask 序列 化 即 可 ， T, MAURIS, 
在 其 他 视图 中 ， 可 直接 导入 并 使 用 这 个 request 变量 。 


T 


ER/MAMIER P, RF request 是 全 局 唯一 的 ， 而 且 是 线程 安全 的 。Flask 
使 用 一 种 称 为 “本 地 上 下 文 ”的 机 制 ， 后 面 将 讨论 该 机 制 。 


接 下 来 添加 一 些 print 方法 ， 通 过 打印 变量 来 看 看 底层 发 生 了 什么 : 


H 


from flask import Flask, jsonify, request 


app = Flask(_ name ) 


@app. route ('/api') 
def my_microservice(): 
print (request) 
print (request .environ) 
response = jsonify({'Hello': 'World!"}) 
print (response) 
print (response. data) 
return response 
if 


name == '  main_': 


print (app.url_map) 
app. run () 


运行 修改 后 的 代码 , 然后 在 其 他 shell 中 用 curl 命令 发 送 请 求 , 就 能 得 到 很 多 详细 
信息 ， 如 下 所 示 : 


$ python flask details.py 

Map([<Rule '/api' (GET, OPTIONS, HEAD) -> my microservice>, 
<Rule '/static/<filename>' (GET, OPTIONS, HEAD) -> static>]) 

* Running on http://127.0.0.1:5000/ (Press CTRL+C to quit) 

<Request 'http://127.0.0.1:5000/api' [GET]> 


{'wsgi.url_scheme': 'http', 'HTTP_ACCEPT': d a 
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'wsgi.run_once': False, 'PATH_INFO': "Japi", 'SCRIPT_NAME': '', 

'wsgi.version': (1, 0), "SERVER_SOFTWARE! : 'Werkzeug/0.11.11', 

'REMOTE_ADDR': '127.0.0.1', 

'wsgi.input': <_io.BufferedReader name=5>, 

'"SERVER_NAME': '127.0.0.1', 'CONTENT_LENGTH': '', 

'werkzeug.request': <Request 'http://127.0.0.1:5000/api' [GET]>, 

"SERVER_PORT': '5000', 'HTTP_USER_AGENT' : 'curl/7.51.0', 

'wsgi.multiprocess': False, 'REQUEST_METHOD': 'GET', 

"SERVER_PROTOCOL! : 'STTP/1.1', "REMOTE PORT': 22135, 

'wsgi.multithread': False, 'werkzeug.server.shutdown': <function 
WSGIRequestHandler.make_environ.<locals>.shutdown_server at 
0x1034e12f0>, 

'HTTP_HOST': '127.0.0.1:5000', 'QUERY_STRING': '', 

'wsgi.errors': <_io.TextIOWrapper name='<stderr>' mode='w' 
encoding='UTF-8'>, 'CONTENT_TYPE': ''} 


<Response 24 bytes [200 OK]> 
b'{n "Hello": "World! "n}n' 
127.0.0.1 - - [22/Dec/2016 15:07:01] "GET /api HTTP/1.1" 200 


下 面 探索 在 这 次 调用 中 发 生 了 什么 

e 路 由 匹配 : Flask 创建 了 Map 类 。 

e R: Flask 将 一 个 请 求 对 象 传递 给 视图 。 

e 响应 : 一 个 返回 给 客户 端的 响应 对 象 ， 包 含 了 响应 内 容 。 


2.2.1 路 由 匹配 


正则 表 : 


路 由 匹配 发 生 在 app.url_map 中 , 它 是 Werkzeug 中 Map 类 的 一 个 实例 。 该 类 使 月 


达 式 来 判定 被 @app.route 装饰 的 函数 是 否 与 传 入 的 请 求 匹 配 。 路 由 匹配 只 会 检 


查 route 调用 里 的 路 径 参 数 ， 来 判断 函数 是 否 匹 配 客户 端的 请 求 。 
默认 情况 下 ， 声 明 式 路 由 仅 接受 GET、OPTIONS 和 HEAD 方法 的 调用 。 如 果 在 


a} 


H 


一 个 合法 的 调用 点 时 , 使 用 了 不 支持 的 HITP 方法 , 服务 器 会 返回 405 Method Not 
Allowed 响应 ， 并 在 Allow 响应 头 中 返回 其 所 支持 的 HITP 方法 列表 。 


$ curl -v -XDELETE localhost:5000/api 

* Connected to localhost (127.0.0.1) port 5000 (#0) 
> DELETE /api/person/1 HTTP/1.1 

> Host: localhost:5000 

> User-Agent: curl/7.51.0 
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> Accept: */* 


* HTTP 1.0, assume close after body 
HTTP/1.0 405 METHOD NOT ALLOWED 
Content-Type: text/html 

Allow: GET, OPTIONS, HEAD 
Content-Length: 178 

Server: Werkzeug/0.11.11 Python/3.5.2 
Date: Thu, 22 Dec 2016 21:35:01 GMT 


AAAAAAA 


<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 3.2 Final//EN"> 
<title>405 Method Not Allowed</title> 
<h1>Method Not Allowed</h1> 
<p>The method is not allowed for the requested URL.</p> * 
Curl_http_done: called premature == 0 
Closing connection 0 


如 果 要 支持 特定 的 HTTP 方法 ， 那 么 可 给 路 由 装饰 器 添加 methods 参数 ， 如 下 
所 示 : 


@app.route('/api', methods=['POST', 'DELETE', 'GET']) 


def my_microservice(): 


return jsonify({'Hello': 'World!"}) 


这 里 需要 注意 ， 由 于 请 求 处 理 器 自动 做 了 处 理 ，OPTIONS 和 HEAD 方法 被 
隐 式 添加 到 所 有 路 由 规则 中 。 可 通过 在 函数 上 设置 provide automatic_options 
为 False 从 而 停 用 这 种 行为 . 当 需 要 在 OPTIONS 响应 中 加 入 自 定义 消息 头 时 ， 
这 个 做 法 简洁 有 效 ; 例如 ， 在 处 理 跨 域 共享 资源 (CORS) 问 题 时 ， 需要 添加 诸 
如 Access-Control-Allow-* 的 消息 头 。 


1. 变量 和 转换 器 


路 由 系统 提供 的 另 一 个 特性 是 能 使 用 变量 。 

可 通过 <VARIABLE_NAME> 语 法 来 使 用 变量 。 这 是 一 个 标准 的 路 由 标识 方法 
(Bottle 也 在 使 用 )， 它 允许 使 用 动态 值 来 描述 API 调用 点 。 

例如 , 当 创 建 一 个 函数 来 处 理发 送 给 /person/N 的 所 有 请 求 时 (N 是 person 的 唯一 ID)， 
可 使 用 /person/<person id> 形 式 。 

当 Flask 调用 函数 时 ， 会 转换 URL 中 的 值 ， 将 其 作为 参数 值 赋 给 person id: 


@app. route ('/api/person/<person_id>') 
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def person (person_id): 
response = jsonify({'Hello': person_id}) 


return response 


$ curl localhost :5000/api/person/3 
{ 

"Hello": "3" 
} 


0 如 果 多 个 路 由 匹配 同一 个 URL, 路 由 映射 器 将 使 用 特定 规则 集 来 确定 应 该 调 
用 哪个 路 由 。 在 Werkzeug 的 路 由 模块 中 ， 是 这 样 描述 这 个 规则 集 的 : 

(1) 为 提高 性 能 ， 优 先 匹配 没有 任何 参数 的 路 由 规则 。 因 为 我 们 期 望 能 匹配 
得 更 快 ， 而 一 些 常 见 规则 也 不 需要 参数 (例如 索引 页 ) 。 
(2) 优先 考虑 更 复杂 的 规则 ， 所 以 第 二 个 参数 是 权重 的 负数 。 
(3) 最 终 ， 用 实际 权重 来 排序 。 
这 就 是 Werkzeug 的 规则 ， 因 此 ， 权 重用 来 对 路 由 规则 排序 ， 但 Flask 并 没有 
使 用 这 种 方式 ， 也 没有 基于 这 种 方式 工作 。 简 而 言 之 ， 先 选择 参数 较 多 的 视 
图 , 然后 按 Python 导入 这 些 模块 的 顺序 选择 参数 少 的 视图 . 一 条 经 验 法 则 是 ， 
务必 使 每 个 声明 的 路 由 在 应 用 中 都 是 唯一 的 ， 否 则 在 判断 使 用 哪个 路 由 时 会 
很 棘手 。 


路 由 还 包含 基础 转换 器 ， 可 将 变量 转换 成 特定 类 型 。 例 如 ， 如 果 需 要 一 个 整 型 
变量 ， 那 么 可 使 用 <intVARIABLE NAME>. 。 对 于 person 示例 ， 可 使 用 /person/ 
<int:person_id>. 

如 果 请 求 匹 配 一 个 路 由 ， 但 转换 器 无 法 完成 转换 ， 除 非 还 有 其 他 路 由 能 匹配 相同 
路 径 ， 和 否则 Flask 会 返回 404 错误 。 

内 置 转换 器 包括 string( 默 认 转 换 器 , 转换 成 Unicode FIFE), int, float, path, any 
和 uuid。 

path 转换 器 类 似 于 默认 转换 器 ， 但 包括 斜 杠 /。 它 非常 类 似 于 正则 表达 式 [N].*?。 

any 转换 器 允许 组 合 多 个 值 。 它 过 于 灵活 ， 通 常 较 少 使 用 。uuid 转换 器 用 于 匹配 
UUID 字符 串 。 

创建 自 定义 的 转换 器 非常 容易 。 例 如 ， 当 需要 将 用 户 的 ID 与 用 户 名 匹配 时 ， 可 
创建 一 个 转换 器 来 查询 数据 库 ， 将 请 求 中 的 数字 转换 成 用 户 名 。 

为 此 ， 只 需要 创建 一 个 继承 自 BaseConverter 的 类 即 可 。 它 需要 实现 两 个 方法 : 
to_pythonO 和 to_url0 方 法 。 前 者 将 值 转换 成 视图 中 用 到 的 Python 对 象 ， 后 者 则 执行 反 
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向 操作 (url for0 用 到 了 to_url0， 下 一 节 会 讲 到 )。 


from flask import Flask, jsonify, request 


from werkzeug.routing import BaseConverter, ValidationError 


_USERS = {"1L": "Tarek", "2": "Freya"} 
_IDS = {val: id for id, val in _USERS.items() } 


class RegisteredUser (BaseConverter) : 
def to_python(self, value) : 
if value in _USERS: 
return _USERS[value] 


raise ValidationError () 


def to_url(self, value): 


return _IDS[value] 


app = Flask( name ) 


app.url_map.converters['registered'] = RegisteredUser 


@app. route ('/api/person/<registered:name>') 
def person (name) : 
response = jsonify({'Hello hey': name}) 


return response 


if name == '_ main _': 


app. run () 


转换 失败 时 ， 会 抛 出 ValidationError 错误 。 路 由 映射 器 会 认为 请 求 与 这 个 路 由 不 


匹配 。 
下 面 多 调用 几 次 ， 来 分 析 实 际 工作 方式 : 


$ curl localhost:5000/api/person/1 
{ 
"Hello hey": "Tarek" 


$ curl localhost: 5000/api/person/2 
{ 
"Hello hey": "Freya" 
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} 


$ curl localhost:5000/api/person/3 

<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 3.2 Final//EN"> 

<title>404 Not Found</title> 

<hi>Not Found</h1> 

<p> The requested URL was not found on the server. If you entered 
the URL manually please check your spelling and try again.</p> 


不 过 要 注意 ， 本 例 的 目的 是 演示 转换 器 的 威力 。 在 真实 应 用 中 ， 注 意 不 要 过 多 依 
赖 转换 器 。 因 为 在 代码 的 演进 中 ， 修 改 所 有 路 由 是 非常 痛苦 的 。 


@ 路 由 的 最 佳 实践 是 : 尽量 让 它 保持 静态 和 简单 ， 将 它 当 作 函 数 上 的 标签 即 可 。 


2. url_for 函数 


Flask 的 路 由 系统 中 的 最 后 一 个 有 趣 特性 是 url_for0 函 数 。 给 定 一 个 视图 ， 它 将 返 
一 个 真实 的 URL. 
以 下 是 前 面 应 用 中 的 一 个 例子 : 


>>> from flask converter import app 


回 


>>> from flask import url for 
>>> with app.test request context(): 


print (url for('person', name='Tarek')) 
/api/person/1 


上 例 使 用 “ 读 取 - 求 值 - 打 印 ” 循 环 (Read-Eval-Print Loop，REPL) 的 交互 式 环 
境 。 可 直接 运行 Python 可 执行 程序 来 启动 。 
若 要 在 模板 中 展示 一 些 视图 的 URL， 而 且 这 些 URL 依赖 于 执行 上 下 文 ， 这 个 特 
性 将 非常 有 用 。 只 需要 将 函数 名 指向 url_for 即 可 ， 而 非 硬 编码 这 些 链 接 。 


2.2.2 WK 


请 求 到 来 时 ，Flask 会 在 一 个 线程 安全 的 代码 块 里 调用 视图 ， 并 使 用 Werkzeug 的 
局 部 助手 程序 local(http://werkzeug.pocoo.org/docs/latest/local/)。 这 个 助手 程序 的 工作 方 
式 与 Python 中 的 threading.local(https://docs.python.org/3/library/threading.html#thread- 
local-data) 类 似 ， 它 确保 每 个 线程 里 都 有 一 个 特定 于 请 求 的 独立 环境 。 
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换 句 话说 ， 在 视图 中 访问 全 局 的 请 求 对 象 时 ， 可 保证 这 个 对 象 在 当前 线程 里 是 唯 
一 的 。 在 多 线程 环境 下 ， 它 不 会 将 数据 泄露 给 其 他 线程 。 

如 前 所 述 , Flask 使 用 传 入 的 WSGI 环境 数据 来 创建 请 求 对 象 . 这 个 对 象 是 request 
类 的 实例 ， 合 并 了 若干 个 mixin 类 ， 负 责 解 析 传 入 环境 变量 中 的 特定 请 求 头 。 


要 了 解 关 于 WSGI 环境 的 更 多 细节 ， 可 访问 WSGIPEP(Python Environment 
Proposal), JU https://www.python.org/dev/peps/pep-0333/#environ-variables. 


最 重要 的 是 , 不 需要 解析 工作 , 视图 即 可 通过 request 对 象 的 属性 来 检视 (introspect) 
传 入 的 请 求 。 Flask 特别 擅长 完成 这 部 分 工作 。 例如 , 当 Flask 发 现 传 入 了 Authorization 
请 求 头 时 ， 会 自动 解析 它 。 

在 下 例 中 , 客户 端 会 向 服务 器 发 送 HITP Basic Auth, 并 编码 为 base64 形式 。Flask 
检测 到 Basic 的 前 级 ， 进 行 解析 ， 并 存 入 request.authorization 属性 中 的 usemame 和 
password 字段 内 。 


from flask import Flask, request 


app = Flask( name ) 


@app. route ("/") 
def auth(): 
print("The raw Authorization header") 
print (request .environ["HTTP_AUTHORIZATION"] ) 
print ("Flask's Authorization header") 
print (request .authorization) 
return "" 


if name ==" main ": 


app.run() 


$ curl http://localhost:5000/ -u tarek:password 


$ bin/python flask_auth.py 

* Running on http://127.0.0.1:5000/ (Press CTRL+C to quit) 
The raw Authorization header 

Basic dGFyZWs6cGFzc3dvcmQ= 

Flask's Authorization header 

{'username': 'tarek', "password': "password'} 


127.0.0.1 = - [26/Dec/2016 11:33:04] "GET / HTTP/1.1" 200 = 


31 


32 


Python 微服 务 开发 


这 样 的 行为 可 轻松 地 在 request 对 象 上 实现 插件 式 身份 验证 系统 。 
其 他 常见 的 请 求 元 素 (如 cookie、 文 件 等 ) 都 可 通过 其 他 属性 来 访问 ， 见 后 续 章 节 


的 介绍 。 


2.2.3 响应 


上 例 


到 了 jsonifyO 函 数 ， 它 使 朋 


上 视图 返回 的 映射 来 创建 一 个 响应 对 象 。 


从 技术 角度 看 , 响应 对 象 是 一 个 可 直接 使 用 的 标准 WSGI 应 用 程序 。Flask 对 其 进 
行 封装 ， 它 与 WSGI 的 environ 一 起 被 调用 ，Web 服务 器 会 接收 start_response 函数 。 
当 Flask 通过 URL 映射 选择 一 个 视图 时 ， 它 期 望 视图 能 返回 一 个 可 接收 environ 
和 start_response 参数 的 可 调用 对 象 。 
这 个 设计 看 似 有 些 奇 怪 , 因为 当 使 用 WSGIenviron 再 次 调用 response 对 象 时 ， 
WSGl environ 已 被 解析 为 request 对 象 。 但 实际 上 ， 这 只 是 实现 细节 。 当 代码 
需要 与 请 求 交互 时 ， 可 使 用 全 局 的 request 对 象 ， 并 忽略 response 类 的 细节 。 


当 返 回 


u 


对 象 : 


值 不 是 可 调用 对 象 时 ，Flask 会 尝试 将 下 列 类 型 的 返回 值 转换 成 response 


e str: 数据 会 被 编码 成 UTF-8 的 字符 串 ， 并 用 作 HTTP 响应 体 。 


e bytes/bytesarray: 月 


旧作 响应 体 。 


e (response,status,headers) 元 组 : response 可 以 是 response 对 象 或 上 述 类 型 之 
一 。status 是 一 个 integer 类 型 的 值 ， 它 会 重 写 响应 的 状态 码 ，headers 是 扩展 
响应 头 的 映射 。 

e (response, status) 元 组 : 与 前 一 种 情况 类 似 ， 但 没有 特定 的 响应 头 。 

e (response, headers) 元 组 : 与 前 面 的 情况 类 似 ， 只 包含 额外 的 响应 头 。 

其 他 情况 下 会 抛 出 一 个 异常 。 

大 多 数 情 况 下 ， 当 构建 微服 务 时 ， 通 常 使 用 内 置 的 jsonify0 函 数 。 但 如 果 要 在 调 


response 类 中 。 
以 下 是 一 个 返回 YAML 格式 内 容 的 例子 。yamlify0 函 数 返 回 一 个 Gesponse, status, 
headers) 元 组 ，Flask 将 其 转换 成 合适 的 response 对 象 : 


from flask import Flask 


用 点 返回 其 他 类 型 的 内 容 ， 那 么 可 很 容易 地 创建 一 个 函数 ， 把 生成 的 数据 转换 到 


import yaml # requires PyYAML 


app = 


Flask( name ) 
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def yamlify(data, status=200, headers=None) : 
_headers = {'Content-Type': 'application/x-yaml"} 
if headers is not None: 
_headers .update (headers) 


return yaml.safe _dump(data), status, _headers 


@app. route ('/api') 
def my_microservice(): 
return yamlify(['Hello', 'YAML', 'World!"]) 


if _name = '_main_': 


app. run () 


Flask 处 理 请 求 的 方式 ， 可 总 结 为 以 下 几 步 : 

(D 启 动 应 用 时 ， 将 所 有 被 @appxroute0 装 饰 的 函数 注册 为 视图 ， 并 保存 在 
app.url_map 中 。 

(2) 根据 其 调用 点 和 方法 ， 请 求 被 分 发 到 合适 的 视图 上 。 

(3) 在 一 个 线程 安全 和 线程 局 部 的 执行 上 下 文中 ， 创 建 request 对 象 。 

(4) 返回 一 个 封装 响应 内 容 的 response 对 象 。 

这 4 个 步骤 概括 了 使 用 Flask 构建 应 用 所 需 理解 的 一 切 。 下 一 节 将 概述 Flask 中 最 
重要 的 内 置 特性 ， 这 些 特 性 与 请 求 -响应 机 制 相关 。 


2.3 Flask 的 内 置 特 性 


上 一 节 详 细 解 释 了 Flask 如 何 处 理 请 求 , 这 些 知 识 对 于 快速 上 手 Flask 已 经 足够 了 。 
Flask 还 自 带 了 很 多 非常 有 用 的 助手 程序 。 这 一 节 会 介绍 几 个 主要 程序 : 

e Session 对 象 : 基于 cookie 的 数据 。 

e 全 局 值 (Globals): 在 请 求 上 下 文中 存储 数据 。 

。 信号 (Signals): 发 送 和 截取 事件 。 

e 扩展 和 中 间 件 : 添加 功能 。 

。 模板 (Template): 构建 基于 文本 的 内 容 。 

e 配置 (Configuring): 在 配置 文件 中 将 启动 的 选项 进行 分 组 。 

e Blueprint: 使 用 名 称 空间 组 织 代 码 。 

e 错误 处 理 和 调试 :处 理应 用 中 的 错误 。 
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2.3.1 Session 对 象 


与 request 对象 类 似 ，Flask 创建 了 Session 对 象 ， 它 在 请 求 上 下 文中 是 唯一 的 。 

Session 对 象 是 一 个 类 似 于 字典 的 对 象 , Flask 将 其 序列 化 成 cookie, 并 发 给 用 户 。 
包含 在 会 话 映射 中 的 数据 会 被 转 储 到 JSON 格式 的 映射 中 ， 然 后 Flask 使 用 zlib 对 其 
压缩 ， 最 终 使 用 base64 进行 编码 。 

会 话 被 序列 化 后 ，itsdangerous 库 (https://pythonhosted.org/itsdangerous/) 对 其 内 容 进 
行 签名 ， 签 名 时 使 用 在 应 用 级 别 定义 的 secret key。 签 名 会 使 用 HMAC(https://en. 
wikipedia.org/wiki/Hash-based_message authentication code) 和 SHA1 算法 。 

签名 (会 在 数据 中 添加 后 缀 ) 可 确保 不 知道 密 钥 的 客户 端 不 能 算 改 存储 在 cookie 中 
的 数据 。 注 意 这 里 的 数据 本 身 并 未 加 密 。 

Flask 允许 自 定 义 签名 算法 ,但 对 于 在 cookie 存储 数据 的 场景 ,使 用 HMAC+SHAI1 
已 经 足够 了 。 

然而 ， 如 果 构 建 的 微服 务 不 返回 HIML， 将 很 少 依赖 cookie， 因 为 cookie 专用 于 
Web 浏览 器 。 但 通过 为 每 个 用 户 提供 一 个 易 变 的 键 值 存储 ， 有 助 于 加 快 完成 服务 器 端 
的 一 部 分 工作 。 例 如 ， 如 果 在 用 户 每 次 访问 时 ， 都 需要 执行 一 些 数据 库 查 询 来 获取 用 
户 信息 ， 那 么 使 用 类 似 Session 的 对 象 将 信息 缓存 在 服务 器 端 可 提高 处 理 速度 。 


23.2 全 局 值 


如 前 所 述 , Flask 提供 一 种 存储 全 局 变量 的 机 制 , 这 种 机 制 保证 这 些 全 局 变量 在 特 
定 线程 和 请 求 上 下 文中 是 唯一 的 。 这 个 机 制 用 在 request 和 session 上 ， 也 可 存储 其 他 
自 定义 对 象 。 

flask.g 对 象 包含 所 有 全 局 值 ， 可 在 它 上 面 给 任何 属性 赋值 。 

在 Flask 中 使 用 @app.before_ request 装饰 器 装饰 一 个 方法 时 ， 在 每 个 请 求 被 分 发 
到 视图 前 ， 应 用 会 调用 这 个 方法 。 

利用 before_request 来 设置 全 局 值 是 Flask 的 一 个 典型 模式 。 通 过 这 个 模式 ， 在 请 
求 上 下 文中 调用 的 所 有 方法 都 能 与 g 交互 并 获取 数据 。 

如 下 所 示 ， 当 客户 端 进行 HTTP 基本 身份 验证 时 ， 会 将 提供 的 username 复制 到 
guser 属性 中 。 


from flask import Flask, jsonify, g, request 


app = Flask( name ) 
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@app.before request 
def authenticate(): 
if request.authorization: 
g-user = request.authorization['username'] 
else: 


g-user = 'Anonymous' 


@app. route ('/api') 
def my_microservice(): 
return jsonify({'Hello': g.user}) 


if name == ' main 


app.run() 
这 样 ， 当 客户 端 请 求 /api 视图 时 ，authenticate0 函 数 会 根据 所 提供 的 请 求 头 来 设置 
g.user. 


$ curl http://127.0.0.1:5000/api 
{ 
"Hello": "Anonymous" 
} 
$ curl http://127.0.0.1:5000/api --user tarek:pass 
{ 
"Hello": "tarek" 
} 


当 需 要 在 代码 中 共享 数据 ， 而 且 数据 特定 于 请 求 上 下 文 时 ， 都 可 通过 flask. 来 
实现 。 


2.3.3 信号 


Flask 集成 了 Blinker 库 (https://pythonhosted.org/blinker/)。 它 是 一 个 处 理 信 号 的 库 ， 
可 为 事件 订阅 一 个 函数 。 

事件 是 blinkersignal 类 的 实例 ， 被 创建 时 有 一 个 唯一 标签 。Flask 在 0.12 版 本 中 
有 数 十 个 这 样 的 实例 。Flask 在 处 理 请 求 时 ， 会 在 特定 时 刻 触发 信号 。 可 参考 
http://flask.pocoo.org/docs/latest/api/#core-signals-list 查看 完整 列表 。 

要 注册 特定 事件 , 可 调用 信号 的 connect 方法。 当代 码 调用 了 信号 的 send 方法 时 ， 
会 触发 信号 。send 方法 接收 到 的 额外 参数 用 来 给 所 有 已 注册 的 函数 传递 数据 。 
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在 下 例 中 ， 将 finished 函数 注册 到 request finished 信号 上 ， 这 个 函数 将 接收 到 


Tesponse 对 象 : 


from flask import Flask, jsonify, g, request_finished 


from flask.signals import signals available 


if not signals available: 
raise RuntimeError("pip install blinker" 


app = Flask( name ) 

def finished(sender, response, **extra): 
print ('About to send a Response') 
print (response) 

request_finished.connect (finished) 

@app. route ('/api') 

def my_microservice(): 


return jsonify({'Hello': 'World'}) 


if name == '  main_': 


app. run () 


注意 ,安装 Blinker 后 才 可 使 用 信号 机 制 。 安 装 Flask 时 ， 并 未 将 其 作为 默认 的 依 


赖 项 来 安装 。 


Flask 中 一 些 信号 的 实现 在 微服 务 中 没 多 大 用 处 , 例如 当 框 架 泻 染 模板 时 所 发 生 的 
信号 。 但 在 Flask 触发 的 信号 中 ， 一 些 有 趣 的 信号 贯穿 整个 请 求 周期 ， 可 用 来 记录 


日 志 。 


例如 ， 当 异常 发 生 但 框架 尚未 处 理 时 ， 会 触发 got request exception 信号。 


Sentry(https://sentry.io) 的 Python 客户 端 Raven) 就 利用 这 个 信号 ， 将 自己 变 成 探 针 来 记 


录 异 常 。 


么 实现 自 定义 信号 会 很 有 意义 。 


那么 可 触发 report_ready 信号 ， 并 事先 将 签名 的 方法 注册 到 这 个 事件 上 。 


如 果 期 望 在 应 用 中 使 用 事件 来 触发 一 些 自 定义 特性 ， 同 时 降低 代码 的 耦合 性 ， 那 


例如 , 假定 有 一 个 生成 PDF 报表 的 微服 务 , 这 个 报表 会 使 用 密码 算法 来 生成 签名 ， 


Blinker 实现 中 的 一 个 重要 方面 是 ,在 调用 所 有 已 注册 的 函数 时 ， 不 会 遵循 特定 顺 


序 来 执行 ， 并 且 它 们 在 signal.send 方法 上 是 异步 执行 的 。 所 以 ， 如 果 应 用 开始 使 


用 大 
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量 信号 ， 那 么 在 处 理 请 求 时 ， 所 有 信号 的 触发 过 程 会 耗费 大 量 时 间 ， 进 而 导致 性 能 
瓶颈 。 

如 果 期 望 信号 工作 时 不 影响 响应 的 返回 ， 可 考虑 使 用 诸如 RabbitMQ(https://www. 
rabbitmq.com/) 的 队列 工具 ， 让 任务 排队 等 候 ， 由 一 个 独立 服务 来 处 理 队 列 。 


2.3.4 扩展 和 中 间 件 


Flask 扩展 其 实 只 是 简单 的 Python 项 目 ， 安 装 后 会 提供 一 个 以 Hask something 77 
式 命名 的 包 或 模块 。 在 早期 版 本 中 ， 命 名 方式 是 flask.ext.something。 

扩展 项 目 必须 遵循 一 些 准则 ， 详 见 http://flask.pocoo.org/docs/latest/extensiondev 中 
的 描述 。 或 多 或 少 地 ， 这 些 准 则 都 可 作为 任何 Python 项 目的 良好 实践 。Flask 有 一 个 
精心 整理 的 扩展 列表 ， 详 见 http:/flask.pocoo.org/extensions/。 当 寻找 一 些 额外 特性 时 ， 
应 该 首先 查看 这 个 列表 。 扩 展 提供 的 功能 取决 于 它 的 开发 者 ， 除 了 Flask 文档 中 提 到 
的 准则 外 ， 没 有 太 多 强制 性 要 求 。 

另 一 种 扩展 Flask 的 机 制 是 使 用 WSGI 中 间 件 。WSGI 中 间 件 是 一 种 扩展 WSGI 
应 用 的 模式 ， 这 种 模式 通过 封装 对 WSGI 调用 点 的 请 求 来 实现 。 

下 例 中 的 中 间 件 伪造 了 X-Forwarded-For 消息 头 , 让 Flask 应 用 以 为 自己 位 于 反 向 
代理 (诸如 nginx) 之 后 。 在 测试 环境 中 ， 当 应 用 尝试 获取 远程 IP 地 址 时 ， 我 们 希望 确 
保 应 用 能 正确 运行 ， 这 个 中 间 件 用 处 很 大 。 因 为 remote_addr 属性 返回 的 是 代理 的 他， 
而 非 客户 端的 真实 IP. 


from flask import Flask, jsonify, request 


import json 


class XFFMiddleware (object): 
def init (self, app, real _ip='10.1.1.1'): 
self.app = app 
self.real_ip = real_ip 
def _call__(self, environ, start_response) : 
if 'HTTP_X FORWARDED FOR' not in environ: 
values = 'ts, 10.3.4.5, 127.0.0.1" % self.real_ip 
environ[ "HTTP X FORWARDED FOR'] = values 


return self.app(environ, start_response) 


app = Flask( name ) 
app.wsgi_app = XFFMiddleware (app.wsgi_app) 
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@app. route ('/api') 


def my_microservice(): 


if 


el 


re 


"X-Forwarded-For" in request.headers: 
ips = [ip.strip() for ip in 
request .headers ['X-Forwarded-For'] .split(',')] 
ip = ips[0] 
se: 
ip = request.remote addr 


turn jsonify({'Hello': ip}) 


if name == '_ main ': 


app.run () 


0 注意 ， 此 处 使 用 app.wsgi_app 来 封装 WSGI 应 用 。 如 前 所 述 ， 在 Flask 中 ， 


应 


在 应 


WSGI 


用 对 象 并 不 是 WSGI 应用。 


访问 WSGI environ 前 修改 它 的 内 容 是 没有 问题 的 。 但 如 果 在 WSGI 中 间 
件 修 改 响应 ， 会 导致 开发 工作 变 得 非常 痛苦 。 


协议 规定 ， 在 应 用 返回 真正 的 响应 体内 容 前 ， 会 以 响应 的 状态 码 和 消息 头 


作为 参数 调 


> 


上 面 只 


用 start_response 函数 。 遗 憾 的 是 ， 应 用 上 的 单个 函数 调用 会 触发 这 个 两 步 


机 制 。 因 此 ， 为 在 应 用 外 修改 响应 结果 ， 必 须 使 用 一 些 回调 魔法 。 
一 个 很 好 的 例子 是 ， 当 修改 响应 的 消息 体 时 ,会 影响 消息 头 Content-Length 的 值 。 
因此 需要 中 间 件 拦截 应 用 发 送 的 消息 头 ， 并 在 消息 体 被 修改 后 ， 重 写 消息 头 的 值 。 


是 WSGI 协议 设计 上 的 问题 之 一 ， 围 绕 它 还 有 很 多 其 他 问题 。 


除非 你 希望 开发 的 功能 在 其 他 WSGI 框架 上 也 能 运行 ， 否 则 没 必要 使 用 WSGI 
中 间 件 来 扩展 应 用 。 编写 一 个 Flask 扩展 是 更 值得 推荐 的 方案 ， 因为 扩展 可 在 Flask 应 


用 内 部 进行 交互 。 


2.3.5 ”模板 


返回 J 


SON 或 YAML 格式 的 文档 非常 简单 ， 这 是 因为 我 们 仅 序列 化 了 数据 。 大 


部 分 微服 务 会 生成 能 被 机 器 转换 的 数据 。 但 某 些 情况 下 ， 需 要 创建 一 些 包 含 布局 的 文 


档 一 -例如 


HTML 页 面 、PDF 报表 或 Email. 


为 处 理 文 本 ，Flask 集成 了 Jinja 模板 引擎 (http:/iinjapocoo.org)。Flask 并 入 Jinja 
主要 是 用 来 生成 HTML 文档 。 通 过 诸如 render template 的 助手 程序 ， 可 利用 Jinja 模 
板 和 传 入 的 数据 来 生成 响应 体 。 

不 过 , Jinja 不 仅 用 来 生成 HTML 或 其 他 基于 标签 的 文档 , 它 可 创建 任何 基于 文本 
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的 文档 。 

例如 ， 如 果 一 些微 服务 会 发 送 邮件 ， 但 使 用 标准 库 中 的 email 包 来 生成 邮件 内 容 
非常 繁杂 ， 此 时 可 选择 Jinja. 

下 面 是 一 个 创建 邮件 模板 的 例子 : 


Date: {{date}} 

From: {{from}} 

Subject: {{subject}} 

To: {{to}} 

Content-Type: text/plain 


Hello {{name}}, 
We have received your payment! 
Below is the list of items we will deliver for lunch: 


{% for item in items %}- {{item['name']}} ({{item['price']}} Euros) 
{% endfor %} 


Thank you for your business! 


Tarek's Burger 


Jinja 用 双 大 括号 来 标记 那些 会 被 替换 成 值 的 变量 。 变 量 可 以 是 程序 执行 中 传 给 
Jinja 的 任何 东西 。 

也 可 在 模板 中 直接 使 用 Python 中 的 让 和 for 代码 块 ， 使 用 {% for x in y % }...{% 
endfor %} 和 {% if x %}...{% endif %} 来 标记 。 

以 下 的 Python 脚本 使 用 email 模板 生成 一 个 完整 且 有 效 的 RFC 822 消息 , 可 通过 
SMTP 来 发 送 它 。 


from datetime import datetime 
from jinja2 import Template 


from email.utils import format_datetime 


def render email (**data) : 
with open ('email template.eml') as f: 
template = Template (f.read()) 
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return template.render (**data) 


data = {'date': format datetime (datetime.now()), 


"to': 'bob@example.com', 


'from': 'tarek@ziade.org', 

"subject': "Your Tarek's Burger order", 

"name': 'Bob', 

‘items': [{'name': 'Cheeseburger', 'price': 4.5}, 
{'name': 'Fries', 'price': 2.}, 
{'name': 'Root Beer', 'price': 3.}]} 


print (render_email (**data) ) 


render_email 函数 使 用 Template 类 ， 它 根据 给 定 方法 生成 邮件 内 容 。 


i) Jinja 非常 强大 ， 包 含 很 多 功能 。 但 由 于 不 在 本 章 的 讨论 范围 内 ， 因 此 不 会 展 
开 介绍 。 如果 需要 在 微服 务 中 完成 一 些 与 模板 相关 的 工作 ，Jinja 将 是 一 个 好 
选择 ， 而 且 Flask 已 经 包含 了 它 。 可 在 http://jinja.pocoo.org/docs 查看 Jinja 功 


2.3.6 配置 


构建 应 用 时 ， 需 要 公开 一 些 运行 选项 ， 例 如 数据 库 的 连接 信息 ， 或 在 部 署 中 才 使 
用 的 一 些 变 量 。 

Flask 使 用 与 Django 类 似 的 配置 管理 机 制 。Flask 对 象 包含 一 个 Config 对 象 ， 这 
个 对 象 包 含 一 些 内 置 变量 ， 在 启动 Flask 应 用 时 ， 可 通过 自 定义 的 配置 对 象 来 更 新 。 

例如 ， 可 在 prod_settings.py 文件 中 定义 一 个 Config 类 ， 如 下 所 示 : 


class Config: 
DEBUG = False 
SQLURI = 'postgres://tarek:xxx@localhost/db' 


然后 ， 在 app 对 象 中 ， 通 过 app.config.from object 加 载 它 : 


>>> from flask import Flask 

>>> app = Flask( name ) 

>>> app.config.from_object ('prod_settings.Config') 

>>> print (app.config) 

<Config {'SESSION COOKIE HTTPONLY': True, 'LOGGER NAME': ' main _', 
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‘APPLICATION ROOT ' : None, 'MAX CONTENT LENGTH': None, 
' PRESERVE CONTEXT ON EXCEPTION': None, 

"LOGGER HANDLER POLICY': 'always', 

"SESSION COOKIE _ DOMAIN ' : None, 'SECRET KEY': None, 
‘EXPLAIN TEMPLATE LOADING': False, 

"TRAP BAD REQUEST ERRORS': False, 

"SESSION REFRESH EACH REQUEST': True, 
‘TEMPLATES AUTO RELOAD': None, 

‘JSONIFY PRETTYPRINT REGULAR': True, 

"SESSION COOKIE _PATH': None, 

"SQLURI': 'postgres://tarek:xxx@localhost/db', 
'JSON_SORT_KEYS': True, 'PROPAGATE_EXCEPTIONS': None, 
'JSON_AS ASCII': True, 'PREFERRED_URL_SCHEME': 'http', 
'TESTING': False, 'TRAP_HTTP_EXCEPTIONS': False, 
'SERVER_NAME': None, 'USE_X_SENDFILE': False, 

"SESSION COOKIE NAME': 'session', 'DEBUG': False, 
'JSONIFY MIMETYPE': 'application/json', 

"PERMANENT SESSION LIFETIME': datetime.timedelta (31), 
‘SESSION _COOKIE_SECURE': False, 

"SEND FILE MAX AGE DEFAULT': datetime.timedelta(0, 43200) }> 


不 过 ， 使 用 Python 模块 作为 配置 文档 存在 两 个 缺点 : 

首先 ， 除 了 一 些 简单 和 扁平 的 类 外 ， 开 发 过 程 中 可 能 在 配置 模块 中 添加 更 复杂 的 
代码 。 这 样 ， 随 着 开发 的 进行 ， 这 些 配 置 代码 将 与 其 他 应 用 代码 没有 太 大 区 别 。 但 在 
部 署 时 ， 通 常 不 会 发 生 分 开 管 理 配 置 文件 与 代码 的 情况 。 

其 次 ， 如 果 有 其 他 团队 负责 管理 应 用 的 配置 文件 ， 也 需要 编辑 Python 代码 。 这 导 
致 更 容易 引入 问题 。 例 如 ， 在 Python 模块 外 创建 Puppet 模板 ， 会 比 创建 扁平 静态 的 


配置 文档 更 困 


难 。 


由 于 Python 通过 app.config 来 公开 配置 信息 , 因此 从 YAML 或 其 他 基于 文本 的 文 


件 中 加 载 其 他 选项 也 变 得 简单 。 

INI 格式 是 Python 社区 中 最 常用 的 格式 。 这 是 因为 标准 库 包 含 一 个 INI 解析 器 ， 

而 且 非 常 通用 。 
有 很 多 Flask 扩展 可 从 INI 文件 中 加 载 配 置信 息 ， 但 使 用 标准 库 中 的 ConfigParser 

会 很 麻烦 。 尽 管 如 此 ， 使 用 INT 文件 需要 特别 注意 ，INI 文件 中 的 变量 都 是 字符 串 ， 

应 用 需要 小 心地 将 其 转换 成 正确 类 型 。 


konfig 项 目 (https://github.com/mozilla-services/konfig) 是 ConfigParser 上 的 小 封装 层 ， 
能 自动 转换 一 些 简 单 类 型 ， 如 整 型 和 布尔 型 。 
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在 Flask 中 使 用 konfig 很 简单 : 
$ more settings.ini 
[flask] 

DEBUG = 0 


SQLURI = postgres://tarek:xxx@localhost/db 


$ python 

>>> from konfig import Config 

>>> from flask import Flask 

>>> c = Config('settings.ini') 

>>> app = Flask( name ) 

>>> app.config.update (c.get_map('flask"')) 
>>> app.config['SQLURI'] 

"postgres: //tarek:xxx@localhost/db 


2.3.7 Blueprint 


当 微服 务 包 含 多 个 调用 点 时 ， 最 终 会 有 大 量 被 装饰 的 方法 -一 或 许 每 个 调用 点 都 
有 好 几 个 方法 。 整 理 和 组 织 代码 的 第 一 个 逻辑 步骤 是 ， 为 每 个 调用 点 使 用 一 个 模块 。 
在 创建 应 用 实例 中 ， 要 确保 导入 它们 ， 以 便 Flask 能 注册 其 中 的 视图 。 

例如 ， 如 果 一 个 微服 务 管理 一 个 公司 的 雇员 数据 库 ， 可 使 用 一 个 调用 点 与 所 有 雇 
员 交 互 ， 另 一 个 调用 点 和 团队 交互 。 可 使 用 以 下 3 个 模块 来 管理 应 用 : 

e app.py: 包含 Flask 的 app 对象 ， 用 它 来 启动 应 用 。 

e employees.py: 提供 与 雇员 相关 的 所 有 视图 。 

e teams.py: 提供 与 团队 相关 的 所 有 视图 。 

这 样 ， 雇 员 和 团队 可 当 作 应 用 的 子 集 ， 各 自 有 一 些 特定 的 工具 类 和 配置 。 

Blueprint 更 强化 了 这 个 逻辑 ， 它 提供 一 种 方式 ， 将 视图 按 不 同名 称 空间 分 组 。 可 
创建 与 Flask 应 用 对 象 类 似 的 Blueprint 对 象 ， 然 后 用 它 来 组 织 视图 。 在 应 用 的 初始 化 
过 程 中 , 使 用 app.register_blueprint 来 注册 它们 , 这样 就 保证 了 Blueprint 中 定义 的 所 有 
视图 成 为 应 用 的 一 部 分 。 
下 面 是 雇员 Blueprint 的 一 种 可 能 实现 方式 : 


from flask import Blueprint, jsonify 


teams = Blueprint('teams', _ name ) 
-DEVS = ['Tarek', 'Bob'] 
_OPS = ['Bill"] 
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_TEAMS = {1: DEVS, 2: OPS} 


@teams . route ('/teams') 
def get _all(): 
return jsonify(_TEAMS) 


@teams . route ('/teams/<int:team_id>') 
def get_team(team_id): 
return jsonify(_TEAMS[team_id]) 


主 模块 (app.py) 导 入 这 个 文件 后 ， 可 用 appxregister blueprint(teams) 来 注册 这 个 


Blueprint。 


当 希 望 在 其 他 应 用 中 复 用 一 个 通用 视图 集合 ， 或 在 同一 应 用 中 多 次 使 用 某 个 通用 


视图 集合 时 ，Blueprint 机 制 会 很 有 趣 。 


新 和 


例如 ，Flask-Restless(https://flask-restless.readthedocs.io) 扩 展 提供 了 创建 、 读 取 、 更 
[删除 资源 的 工具 , 它 检 视 SQLAIchemy 的 模型 , 针对 每 个 模型 生成 一 个 Blueprint, 


这 样 就 自动 通过 RESTAPI 公开 了 数据 库 。 


下 例 来 自 Flask-Restless 文档 (Person 是 SQLAIchemy 模型 ): 


blueprint = manager.create_api_ blueprint (Person, methods=['GET', 
"POST']) 
app.register_blueprint (blueprint) 


2.3.8 ”错误 处 理 和 调试 


当 应 用 出 现 错误 时 ， 重 要 的 是 能 控制 客户 端 收 到 的 响应 。 在 返回 HIML 的 Web 


点 用 


中 ， 当 遇 到 404 或 50x 错误 时 ， 通 常会 指定 特定 HTML 页 面 ， 这 也 是 Flask 开 箱 


即 月 


的 工作 方式 。 但 在 构建 微服 务 时 ， 你 需要 更 多 地 控制 返回 给 客户 端的 内 容 一 这 


正 是 自 定义 错误 处 理 程序 的 用 处 。 


Flask 的 另 一 个 重要 特性 是 , 它 允 许 在 发 生意 外 错误 时 调试 代码 ,本 节 将 探讨 Flask 


内 置 的 调试 器 ， 当 应 用 以 调试 模式 (debug mode) 运 行 时 ， 就 会 激活 调试 器 。 


1. 自 定义 错误 处 理 程序 
当代 码 不 处 理 异 常 时 ，Flask 返回 的 500 错误 不 包含 任何 详细 信息 (诸如 异常 跟踪 


记录 )。 返 回 一 个 通用 错误 是 安全 的 默认 行为 ， 这 种 做 法 可 避免 通过 错误 体 向 用 户 泄露 
任何 私密 信息 。 


默认 的 500 错误 响应 是 一 个 简单 的 HTML 页 面 以 及 对 应 的 状态 码 : 
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$ curl http://localhost:5000/api 

<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 3.2 Final//EN"> 

<title>500 Internal Server Error</title> 

<hi>Internal Server Error</h1> 

<p>The server encountered an internal error and was unable to complete your 
request. Either the server is overloaded or there is an error in the 


application.</p> 


使 用 JSON 实现 微服 务 时 ， 一 个 良好 实践 是 确保 返回 给 客户 端的 响应 包括 任何 异 
MABE JSON 格式 。 微 服务 的 消费 者 会 期 望 每 个 响应 都 可 被 机 器 解析 。 

Flask 提供 了 一 些 函数 ， 让 你 可 自 定义 处 理 错误 程序 。 首 先是 @app.errorhandler 装 
饰 器 ， 它 的 工作 方式 与 @app:route 相似 。 不 过 这 个 装饰 器 将 函数 链接 到 错误 码 上 ， 而 
不 是 提供 一 个 API 调用 点 。 

下 例 使 用 @app.errorhandler 来 连接 一 个 函数 , 当 Flask 返回 500 服务 器 响应 时 (出 
现任 何 代码 异常 时 )， 这 个 函数 返回 JSON 格式 的 错误 。 


from flask import Flask, jsonify 


app = Flask(_ name ) 


@app.errorhandler (500) 
def error_handling(error) : 


return jsonify({'Error': str(error)}, 500) 


@app. route ('/api') 
def my_microservice(): 
raise TypeError ("Some Exception") 


if name = '_ main 


app. run () 


不 论 代码 抛 出 哪 种 异常 ，Flask 都 会 调用 这 个 错误 视图 。 
然而 ， 如 果 应 用 发 生 了 HTTP 404 和 其 他 4xx、50x 错误 ，Flask 依然 返回 默认 的 
HTML 格式 响应 。 
为 确保 应 用 能 针对 每 个 4xx 和 50x 返回 ISON 格式 响应 ， 需 要 将 函数 注册 到 每 个 
ER Eo 
在 abortmapping 字典 中 ， 可 找到 所 有 错误 的 列表 。 在 下 面 的 代码 片段 中 ， 使 用 
app.register_error_ handler 将 error_handling 方法 注册 到 所 有 错误 上 。appregister_error 
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handler 的 效果 与 @app.errorhandler 装饰 器 类 似 : 


from flask import Flask, jsonify, abort 


from werkzeug.exceptions import HTTPException, default_exceptions 


def JsonApp (app) : 
def error handling (error) : 

if isinstance (error, HTTPException) : 

result = { 'code': error.code, 'description': 
error.description, 'message': str(error) } 

else: 
description = abort.mapping[500].description 
result = {'code': 500, 'description': description, 


"message': str(error) } 
resp = jsonify (result) 
resp.status_code = result['code'] 


return resp 


for code in default_exceptions.keys () : 


app.register_error handler(code, error_handling) 
return app 
app = JsonApp(Flask(__name_)) 
@app. route ('/api') 
def my_microservice(): 


raise TypeError ("Some Exception") 


if name = '_ main ': 


app. run () 


JsonApp 函数 封装 一 个 Flask 应 用 实例 ， 针 对 所 有 可 能 发 生 的 4xx 和 SOx 错误 ， 设 
置 了 自 定义 错误 处 理 程序 。 


2. 调试 模式 
Flask 应 用 的 run 方法 有 一 个 debug 选项 。 启 用 后 会 在 调试 模式 下 运行 应 用 。 


app. run (debug=True) 
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调试 模式 是 一 个 特殊 模式 。 内 置 调试 器 会 拦截 任何 错误 ， 并 允许 你 在 浏览 器 中 与 
应 用 交互 。 

web-debugger 中 的 控制 台 允 许 你 与 当前 应 用 交互 并 检视 变量 ， 或 在 当前 的 执行 帧 
中 执行 任何 Python 代码 。 

Flask 甚 至 允许 配置 第 三 方 调试 器 。 例如 , JetBrains 的 PyCharm(https://www.jetbrains. 
com/pycharm) 是 一 个 针对 Python 的 商业 IDE, 提供 了 强大 的 可 视 化 调试 器 , 设置 后 可 
与 Flask 一 起 运行 。 


在 调试 模式 时 ， 只 有 提供 PIN 才能 访问 控制 台 ( 如 图 2-1 所 示 ); 但 调试 模式 
@ 允许 远程 执行 代码 ， 因 此 仍然 存在 安全 隐患 。2015 年 ， 黑 客 就 通过 Flask 调试 
器 入 侵 了 Patreon 在 线 服务 。 需要 特别 注意 ， 不 要 在 生产 环境 下 使 用 调试 模式 ! 
安全 分 析 工 具 Bandit(https://wiki.openstack.org/wiki/Security/Projects/Bandit) 
能 跟踪 那些 使 用 了 普通 调试 标记 的 Flask 应 用 ， 从 而 防止 使 用 这 个 标记 部 署 


€| © localhost:5000/api 


Console Locked 


The console is locked and needs to be unlocked 
by entering the PIN. You can find the PIN 
printed out on the standard output of your 
shell that runs the server. 


PIN: [848-809-938 Confirm Pin 


图 2-1 提供 PIN 后 才能 访问 控制 台 


当 跟 踪 问 题 时 ， 使 用 普通 pdb 模块 在 代码 中 插入 pdb.set trace0 也 是 一 种 不 错 的 
方法 。 
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2.4 ”微服 务 应 用 的 骨架 


前 面 介绍 了 Flask 的 工作 方式 和 大 部 分 内 置 特性 (本 书后 面 将 使 用 这 些 特性 )。 

还 有 一 个 未 涉及 的 话题 是 如 何在 项 目 中 组 织 代码 ， 以 及 如 何 实例 化 Flask 应 用 。 
到 目前 为 止 ， 所 有 例子 都 使 用 单独 Flask 模块 ， 调 用 apprun0 来 运行 服务 。 

当然 ， 除 非 代码 只 有 几 行 ， 否 则 在 一 个 模块 中 编写 所 有 代码 是 很 糟糕 的 。 由 于 要 
发 布 和 部 署 代码 ,最 好 将 代码 放 在 一 个 Python 包 中 , 这样 就 能 使 用 标准 的 包 管理 工具 
(如 pip 和 Setuptools) 安 装 它 。 

一 个 好 方法 是 用 Blueprint 组 织 视图 代码 ， 每 个 Blueprint 包含 一 个 模块 。 

最 后 ， 由 于 Flask 提供 一 个 通用 运行 器 (runner) 来 查找 app 变量 ， 而 这 个 app 变量 
是 通过 在 模块 上 指定 FLASK_APP 环境 变量 来 确定 的 ， 因 此 可 从 代码 中 删除 对 rund 
方法 的 调用 。 使 用 这 个 运行 器 时 ， 可 指定 一 些 额外 选项 ， 例 如 配置 应 用 运行 时 使 用 的 
主机 名 和 端口 等 。 

GitHub 上 有 一 个 为 本 书 创建 的 微服 务 项 目 https://github.com/Runnerly/microservice)。 
它 是 一 个 通用 Flask 项 目 ， 可 用 来 启动 一 个 微服 务 应 用 。 它 实现 了 简单 的 代码 布局 ， 适 
于 构建 微服 务 。 

你 可 安装 并 运行 它 ， 然 后 修改 它 。 


这 个 项 目 使 用 flakon(https://github.com/Runnerly/flakon). flakon 是 一 个 极 简 的 
0 助手 程序 , 负责 使 用 INI 文件 和 默认 ISON 行为 ,来 配置 和 实例 化 Flask 应 用 。 
flakon 也 是 为 本 书 创建 的 ， 目 的 是 使 用 最 少 样板 代码 ， 让 你 专注 于 构建 微服 
务 。flakon 并 非 是 强制 的 ， 如 果 一 些 技术 决策 不 适合 你 ， 你 可 将 它 从 项 目 中 
删除 ， 然 后 开发 函数 来 创建 应 用 ， 或 使 用 提供 了 这 种 功能 的 开源 项 目 。 
上 述 microservice 项 目的 骨架 包含 以 下 结构 : 
e setup.py: Distutil 的 安装 文件 ， 用 来 安装 和 发 布 应 用 。 
e Makefile: 包含 用 来 构建 和 运行 项 目的 任务 。 
e settings.ini: INI 格式 的 应 用 默认 配置 文件 。 
e requirements.txt: 遵循 pip 格式 的 项 目 依赖 项 。 
e myservices/: 真正 的 应 用 包 。 
e init__.py- 
e app.py: app 模块 ， 包 含 应 用 本 身 。 
e views/: 以 Blueprint 组 织 的 视图 。 
e init__.py- 
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e home.py: home blueprint， 处 理 根 调用 点 。 
e tests: 包含 所 有 测试 的 目录 。 
e init__.py- 
e test_home.py: home blueprint 中 视图 的 测试 。 
在 以 下 代码 中 ，app.py 文件 通过 flakon 的 create app 助手 方法 实例 化 一 个 Flask 
应 用 ， 并 使 用 一 些 参数 ， 如 注册 的 Blueprint 列表 。 


import os 
from flakon import create_app 


from myservice.views import blueprints 


_HERE = os.path.dirname(_ file ) 
_SETTINGS = os.path.join(_HERE, '..', 'settings.ini') 
app = create_app(blueprints=blueprints, settings=_SETTINGS) 


home.py 视图 使 用 flakon 的 JsonBlueprint 类 , 实现 了 前 一 节 提 到 的 错误 处 理 方 式 。 
当 视 图 返回 字典 对 象 时 ， 会 自动 调用 jsonify0 函 数 一 一 就 像 Bottle 框架 那样 : 


from flakon import JsonBlueprint 
home = JsonBlueprint ('home', _name ) 


@home.route('/') 
def index(): 


"""Home view. 


This view will return an empty JSON mapping. 


"on 


return {} 
可 通过 Flask 内 置 的 命令 行 工具 ， 使 用 包 名 ， 来 运行 上 面 的 示例 应 用 : 


$ FLASK APP=myservice flask run 
* Serving Flask app "myservice" 
* Running on http://127.0.0.1:5000/ (Press CTRL+C to quit) 


从 现在 开始 ， 如 果 要 给 微服 务 应 用 创建 SON 视图 ， 需 要 在 microservice/views 中 
添加 模块 ， 并 在 microservice/tests 添加 对 应 的 测试 。 
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本 章 小 结 


第 2 章 Flask 框架 


本 章 详 述 Flask 框架 ， 以 及 如 何 用 它 构建 微服 务 。 
本 章 要 点 如 下 : 


Flask 通过 WSGI 
代码 来 编写 应 用 。 


协议 包装 一 个 简单 的 请 求 响应 机 制 ， 允 许 使 用 普通 的 Python 


Flask 易于 扩展 ， 能 运行 在 Python 3 上 。 


Flask 包 含 一 些 好 月 
里 程序 和 调试 器 。 


的 内 置 特 性 : Blueprint、 全 局 值 、 信 号 、 模 板 引擎 、 错 误 处 


microservice 项 目 是 一 个 Flask 骨架 ， 本 书 用 它 来 编写 微服 务 。 这 个 简单 的 应 
使 用 INI 作为 配置 ， 确 保 应 用 以 JSON 格式 返回 响应 。 


第 3 章 将 关注 开发 方法 论 ， 如 何 持续 地 编码 、 测 试 和 写 文档 。 
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se 
良性 循环 ， 编码、 测试 和 写 文档 


每 个 已 部 署 的 软件 项 目 都 会 受到 难以 避免 的 bug 的 折磨 ， 为 消除 bug， 需 要 持续 
投入 时 间 和 金钱 。 
有 一 种 在 编码 时 同时 编写 测试 的 方法 叫做 TDD(Test-Driven Development， 测 试 驱 
动 的 开发 )， 使 用 TDD 虽然 并 非 总 能 提高 项 目 质量 ， 但 能 让 团队 更 敏捷 。 当 开发 者 需 
要 修复 一 个 bug， 或 对 应 用 进行 重 构 时 ， 基 于 测试 将 可 更 快捷 、 更 好 地 完成 工作 。 如 
果 团 队 中 有 人 破坏 了 一 个 功能 ， 测 试 也 将 立即 提醒 团队 注意 。 

编写 测试 非常 耗 时 , 但 从 长 远 看 , 这 是 一 个 能 让 项 目 健康 成 长 的 最 佳 方法 。 当 然 ， 
总 可 能 编写 差劲 的 测试 并 最 终 导致 糟糕 的 结果 ， 或 创建 的 测试 套件 极 难 维护 而 且 运 行 
时 间 过 长 。 世 界 上 最 好 的 工具 和 流程 并 不 会 阻止 马虎 的 开发 者 编写 出 差劲 的 软件 ， 如 
图 3-1 所 示 。 


THE #1 PROGRAMMER EXCUSE 
FOR LEGITIMATELY SLACKING OFF: 


"TESTS ARE RUNNING! 


HEY! GET BACK 
a 
CD 
si \ 

CE 


图 3-1 凡事 贵 在 用 心 
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长 期 以 来 ， 软 件 行业 一 直 在 讨论 TDD 的 功效 。 但 最 近 十 年 ， 通 过 量化 TDD 的 好 
处 , 更 多 的 研究 论文 得 出 结论 : TDD 从 长 期 看 花 钱 更 少 , 质量 更 高 。 你 可 在 http://biblio. 
gdinwiddie.com/biblio/StudiesOfTestDrivenDevelopment 页 面 上 看 到 关于 此 主题 的 很 多 
研究 论文 。 

编写 测试 也 是 一 种 从 不 同 角 度 查 看 代码 的 好 方法 。 设 计 的 API 是否 合理 ? 代码 是 
和 否 恰当 地 结合 在 一 起 ? 当 团 队 扩编 和 发 生变 化 时 ， 测 试 是 最 好 的 信息 来 源 。 不 同 于 文 
档 ， 测 试 反映 了 当前 代码 版 本 的 行为 。 

即便 维护 文档 很 难 也 很 耗 时 ， 但 文档 记录 依然 是 项 目 中 重要 的 一 部 分 。 当 任何 人 
开始 使 用 你 的 软件 ， 或 加 入 团队 开始 工作 时 ， 这 是 他 的 第 一 站 。 应 用 是 如 何 被 安装 和 
配置 的 ?如何 运行 测试 或 添加 新 功能 ?软件 是 如 何 设 计 的 ， 为 什么 这 样 设计 ? 

一 段 时 间 后 , 除非 安排 专人 , 否则 极 少 看 到 一 个 项 目的 文档 会 随 着 代码 及 时 更 新 。 
令 开发 者 备 感 泪 形 的 是 ， 发 现 文档 中 的 代码 示例 在 重 构 后 被 破坏 了 。 不 过 有 一 些 方 法 
可 缓解 这 些 问 题 ， 例如， 在 文档 中 提取 的 代码 可 作为 测试 套件 的 一 部 分 ， 由 测试 套件 
确保 这 些 代码 是 可 工作 的 。 

任何 场景 下 ， 无 论 你 在 编写 测试 和 文档 上 耗费 了 多 少 精 力 ， 有 一 个 黄金 法 则 : 在 
项 目 中 应 该 持续 地 写 测试 、 写 文档 ， 和 写 代码 。 换 言 之 ， 在 理想 情况 下 ， 代 码 中 的 更 
改 最 好 能 立即 反应 在 测试 和 文档 中 。 

提供 了 一 些 如 何在 Python 中 编写 测试 的 一 般 性 提示 后 ， 本 章 将 重点 讨论 在 使 用 
Flask 构建 微服 务 时 ， 有 哪些 编写 测试 和 文档 的 工具 可 供 使 用 , 并 介绍 如 何 用 主流 的 在 
线 服务 来 实现 持续 集成 。 

这 些 内 容 分 为 5 个 部 分 : 
各 种 测试 类 型 的 差异 
使 用 WebTest 测试 微服 务 
使 用 pytest 和 Tox 
开发 者 文档 


3.1 各 种 测试 类 型 的 差异 


中 试 有 很 多 种 类 型 ， 有 时 当 我 们 想 知道 讨论 的 是 哪 种 测试 时 ， 会 感到 困惑 。 例 如 ， 
提 到 功能 测试 时 ， 不 同 的 项 目 性 质 可 能 代表 不 同类 型 的 测试 。 

在 微服 务 领 域 ， 可 将 测试 按照 5 个 不 同 目标 进行 分 类 : 

。 单元 测试 (onittesb: 在 隔离 场景 下 ， 确 保 类 或 函数 运行 的 结果 和 期 望 一 致 
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e 功能 测试 (functional test): 从 微服 务 消费 者 视角 ， 验 证 微服 务 的 行为 和 期 望 一 
致 ， 并 且 即 使 请 求 不 当 ， 依 然 能 正常 工作 。 

。 集成 测试 (integration test): 验证 微服 务 如 何 与 它 的 所 有 网 络 依赖 项 进行 集成 。 

e 负载 测试 doad test): 度量 微服 务 的 性 能 。 

o 端 到 端 测 试 (end-to-end test): 用 端 到 端 测试 验证 整个 系统 。 

下 面 将 详细 介绍 这 些 内 容 。 


3.1.1 单元 测试 


单元 测试 是 添加 到 项 目 中 的 最 简单 测试 ，Python 标准 库 附 带 了 编写 单元 测试 所 需 
的 内 容 。 在 一 个 基于 Flask 的 项 目 中 ,通常 都 围绕 视图 (一 些 函数 和 类 ) 进 行 独立 的 单元 
然而 在 Python 项 目 中 ,“ 分 离 (separatiom)” 概 念 是 非常 含糊 的 。 这 是 因为 没有 使 
用 类 似 于 其 他 语言 的 契约 或 接口 概念 所 导致 的 ， 在 其 他 语言 中 ， 这 些 概念 用 来 分 离 类 
的 定义 和 实现 。 

在 Python 中 ,隔离 测试 通常 意味 着 实例 化 一 个 类 或 用 特定 的 参数 调用 函数 ,然后 
验证 结果 是 否 和 预期 一 致 。 当 一 个 类 或 方法 调用 的 一 段 代 码 不 是 由 Python 或 标准 库 提 
供 时 ， 这 个 类 或 方法 就 不 再 是 隔离 的 。 

某 些 情况 下 ， 一 个 有 用 的 方法 是 通过 模拟 调用 来 实现 隔离 。Mocking 意味 着 用 模 
拟 版 本 替换 一 段 代 码 ， 接 受 特定 的 输入 ， 产 生 指 定 的 输出 ， 并 在 输入 和 输出 之 间 模 拟 
行为 。 但 Mocking 通常 具有 危险 ， 因 为 很 容易 在 模拟 中 实现 与 真实 对 象 不 同 的 行为 ， 
最 终 导 致 一 些 代 码 可 基于 模拟 对 象 工作 ， 却 无 法 基于 真实 对 象 工作 。 常 发 生 问题 的 情 
况 是 ， 当 更 新 项 目的 依赖 项 时 ， 其 中 一 些 库 可 能 引入 新 行为 ， 模 拟 对 象 没有 按照 这 些 
新 行为 进行 更 新 。 
因此 ， 一 个 好 的 实践 是 ， 对 于 下 面 3 种 用 例 限制 使 用 模拟 对 象 : 

e VORE: 当代 码 对 第 三 方 服务 或 资源 (Socket、 文 件 等 ) 进 行 调用 ， 而 你 无 法 

在 测试 环境 中 运行 这 些 资 源 时 。 

o CPU 密集 操作 : 当 调 用 计算 会 使 测试 套件 太 慢 时 。 

e 要 重 现 的 特定 行为 : 当 你 要 编写 针对 特定 行为 的 测试 代码 时 (比如 ， 一 个 网 络 

错误 ， 或 通过 模拟 日 期 和 时 间 模 块 来 改变 日 期 或 时 间 )。 

下 面 这 个 类 使 用 requests 库 (http://docs.python-requests.org), 通过 Bugzilla 的 REST 
API 来 查询 bug 列表 : 


import requests 
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class MyBugzilla: 
def init (self, account, server = 
"https: //bugzilla.mozilla.org'): 
self.account = account 
self.server = server 


self.session = requests.Session() 


def bug link(self, bug_id): 


return '%s/show bug.cgi?id=%s' % (self.server, bug_id) 


def get_new_bugs (self): 
call = self.server + '/rest/bug' 
params = {'assigned_to': self.account, 
"status': 'NEW', 
"Limit": TO} 
try: 
res = self.session.get(call, params=params) .json() 
except requests.exceptions.ConnectionError: 
# oh well 
res = {'bugs': []} 


def add link (bug) : 
bug['link'] = self.bug_link (bug) 


return bug 


for bug in res['bugs']: 
yield _add_link (bug) 


这 个 类 有 一 个 可 独立 测试 的 bug_link0 方 法 。 还 有 一 个 需要 调用 Bugzilla 服务 器 的 
get_new_bugs0 方 法 。 执 行 测试 时 ， 运 行 Bugzilla 服务 器 过 于 复杂 ; 为 此 ， 你 可 通过 模 
拟 这 个 调用 并 提供 自 定义 的 JSON 数据 ， 让 这 个 类 独立 工作 。 

下 例 通过 使 用 request_mock(http://requests-mock.readthedocs.io) 实 现 了 模拟 ， 这 个 
库 可 轻而易举 地 模拟 网 络 调用 。 


import unittest 

from unittest import mock 

import requests 

from requests.exceptions import ConnectionError 


import requests mock 
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from bugzilla import MyBugzilla 


class TestBugzilla(unittest.TestCase) : 
def test_bug_id(self): 
zilla = MyBugzilla('tarek@mozilla.com', server = 
="http://example.com') 
link = zilla.bug_link(23) 
self.assertEqual (link, 'http://example.com/show_bug.cgi?id=23') 


@requests_mock.mock () 

def test_get_new_bugs(self, mocker) : 
# mocking the requests call and send back two bugs 
bugs = [{'id': 1184528}, {'id': 1184524}] 
mocker.get (requests_mock.ANY, json={'bugs': bugs}) 


zilla = MyBugzilla('tarek@mozilla.com', 
server ='http://example.com') 
bugs = list (zilla.get_new_bugs() ) 
self.assertEqual (bugs [0] ['"link'], 
"http: //example.com/show_bug.cgi?id=1184528') 


@mock.patch.object (requests.Session, 'get', 


side_effect=ConnectionError('No network") ) 
def test_network_error(self, mocked): 
# faking a connection error in request if the web is down 
zilla = MyBugzilla('tarek@mozilla.com', 


server='http://example.com') 


bugs = list (zilla.get_new_bugs () ) 
self.assertEqual (len (bugs), 0) 


if name = '_ main ': 


unittest.main() 


Gp 当 项 目 增长 时 ， 要 时 刻 注意 这 些 模拟 对 象 ， 对 于 特定 功能 ， 要 确保 包含 模拟 

对 象 的 测试 不 是 唯一 测试 。 例 如 ， 如 果 Bugzilla 项 目 使 用 了 新 的 REST API 
结构 ， 且 项 目 使 用 的 服务 器 也 被 更 新 ， 这 时 只 有 及 时 根据 新 的 API 行为 更 新 
模拟 对 象 ， 被 破坏 的 代码 才能 通过 测试 。 
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test_network_error0 方 法 是 第 二 个 测试 ， 通 过 使 用 Python 的 mock 补丁 进行 装饰 ， 
可 触发 请 求 链接 错误 来 冒充 网 络 错误 。 这 个 测试 确保 被 测 类 能 在 没有 网 络 时 如 期 工作 。 
单元 测试 类 型 通常 足 可 用 于 对 大 部 分 类 和 函数 的 行为 进行 测试 。 

当 项 目 增长 和 新 场景 出 现时 ， 这 个 测试 类 将 履 盖 更 多 案例 。 例 如 ， 当 服务 器 返回 
一 个 格式 不 正确 的 JSON body 时 ， 会 发 生 什么 ? 

不 过 ， 没 必要 从 一 开始 就 对 能 想 出 的 所 有 失败 都 编写 测试 。 在 微服 务 项 目 中 ， 单 
元 测试 不 是 最 重要 的 ， 而 且 要 做 到 100% 的 单元 测试 覆盖 率 (调用 测试 时 ， 运 行 的 代码 
行 数 占 所 有 代码 行 数 的 比例 ) 很 可 能 得 不 偿 失 , 你 需要 做 大 量 维护 工作 , 而 收益 却 不 多 。 

更 好 的 方式 是 集中 精力 构建 一 套 健壮 的 功能 测试 。 


3.1.2 功能 测试 


微服 务 项 目的 功能 测试 是 : 通过 发 送 http 请 求 并 断言 http 响应 ， 所 有 的 测试 与 发 
布 的 API 进行 交互 。 

这 个 定义 很 宽泛 , 包含 任何 能 调用 应 用 的 测试 ， 从 模糊 测试 (给 应 用 发 送 没有 意义 
的 请 求 ， 看 看 会 发 生 什 么 ) 乃 至 渗透 测试 (尝试 破坏 应 用 的 安全 ) 等 。 

开发 者 主要 关注 两 类 最 重要 的 功能 测试 : 

e 验证 应 用 的 行为 和 期 望 一 致 的 测试 

e 确保 异常 行为 已 被 修复 且 不 再 发 生 的 测试 

在 测试 类 中 ， 开 发 者 自行 决定 如 何 组 织 这 些 场景 ， 但 通用 模式 是 在 测试 类 中 创建 
一 个 应 用 的 实例 ， 然 后 通过 这 个 实例 与 应 用 进行 交互 。 

这 种 场景 下 ， 没 有 使 用 网 络 层 ， 并 且 应 用 也 是 直接 被 测试 调用 的 ， 但 发 生 了 和 使 
用 网 络 层 相同 的 请 求 -响应 周期 ， 因 此 是 足够 真实 的 。 但 是 ， 仍 然 会 模拟 应 用 中 发 生 的 
任何 网 络 调用 。 

Flask 中 有 一 个 FlaskClient 类 ， 用 来 构建 请 求 ， 可 直接 从 app 对 象 的 test_clientO 
方法 中 获取 该 类 的 实例 。 

下 例 用 于 测试 前 面 显示 的 第 一 个 应 用 ， 应 用 会 对 发 给 /api/ 的 请 求 返回 ISON body: 


import unittest 
import json 


from flask_basic import app as tested_app 


class TestApp (unittest .TestCase) : 
def test_help (self): 


# creating a FlaskClient instance to interact with the app 
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app = tested_app.test_client () 


# calling /api/ endpoint 
hello = app.get('/api') 


# asserting the body 
body = json.loads(str(hello.data, 'utf8"')) 


self.assertEqual (body['Hello'], 'World!"') 


if name = '_main_': 


unittest .main() 


FlaskClient 类 对 每 个 http 动词 都 有 一 个 方法 ， 方 法 会 返回 响应 对 象 ， 然 后 这 些 对 
象 可 以 被 测试 用 来 对 结果 进行 验证 。 在 上 例 中 ， 我 们 使 用 .get0 方 法 来 获得 响应 对 象 。 

在 Flask 类 中 有 一 个 testing 标志 ， 可 用 它 将 异常 传递 到 测试 中 ， 但 有 时 倾向 于 不 
按照 默认 方式 从 应 用 得 到 返回 值 。 比 如 为 让 API 保持 一 致 ， 要 确保 把 返回 体 中 的 5xx 
BR dav 错误 转换 成 JSON 格式 。 

在 下 例 中 ， 调 用 /api/ 会 产生 一 个 异常 ， 通 过 结构 化 的 JSON 返回 体 ， 测 试 要 确保 
客户 端 在 test_raise0 中 获取 正确 的 500 信息 。 

test_proper 4040 测 试 方法 对 一 个 不 存在 的 路 径 进行 了 相似 的 校 验 。 


import unittest 
import json 


from flask_error import app as tested_app 


_404 = ('The requested URL was not found on the server. ' 
'If you entered the URL manually please check your ' 
"spelling and try again.') 

class TestApp(unittest.TestCase) : 
def setUp(self): 
# creating a client to interact with the app 


self.app = tested_app.test_client () 


def test_raise(self): 
# this won't raise a Python exception but return a 500 
hello = self.app.get('/api') 
body = json.loads(str(hello.data, 'utf8')) 
self.assertEqual (body['code'], 500) 


57 


58 


Python 微服 务 开发 


def test_proper 404 (self): 
# calling a non existing endpoint 


hello = self.app.get ('/dwdwqqwdwqd') 


# yeah it's not there 
self.assertEqual (hello.status_code, 404) 


# but we still get a nice JSON body 

body = json.loads(str(hello.data, '‘utf8"')) 
self.assertEqual (body['code'], 404) 

self .assertEqual (body['message'], '404: Not Found") 
self .assertEqual (body['description'], _404) 


' 


if name == main _': 


unittest.main () 


0.: WebTest(http://webtest.pythonpaste.org) 可 替代 FlaskClient， 它 提供 更 多 扩展 的 
功能 ， 本 章 稍 后 会 介绍 它 。 


3.1.3 ”集成 测试 


单元 测试 和 功能 测试 主要 是 在 不 调用 其 他 网 络 资源 的 情况 下 测试 代码 ， 不 论 其 他 
资源 是 应 用 中 的 其 他 微服 务 ， 还 是 数据 库 、 消 息 队 列 之 类 的 第 三 方 服务 。 为 提高 测试 
速度 ， 以 及 让 测试 保持 独立 、 简 单 ， 网 络 请 求 都 被 模拟 了 。 

集成 测试 是 不 进行 任何 模拟 的 功能 测试 , 能 在 应 用 的 真实 部 署 环境 上 运行 。 例 如 ， 
如 果 服 务 与 Redis 或 RabbitMQ 有 交互 ， 在 运行 集成 测试 时 ， 这 些 第 三 方 服 务 也 会 被 
正常 地 调用 。 

集成 测试 的 优势 是 避免 了 前 面 描述 的 模拟 网 络 交互 中 的 问题 。 只 有 在 真实 环境 中 
测试 应 用 ， 才 能 确保 它 将 在 生产 环境 上 正常 工作 。 

在 真实 部 署 环境 进行 测试 要 注意 的 是 ， 不 论 准备 测试 数据 还 是 清理 测试 期 间 产 生 
的 数据 都 是 困难 的 。 通 过 重 现 问题 来 修补 应 用 的 行为 也 是 艰难 的 任务 。 

但 配合 单元 测试 和 功能 测试 ， 对 于 验证 应 用 的 行为 ， 集 成 测试 是 绝 佳 的 补充 。 

一 般 而 言 ， 集 成 测试 在 服务 开发 期 间或 临时 部 署 期 间 执 行 。 但 如 果 部 署 环境 很 容 
易 ， 也 可 以 有 一 个 专门 的 测试 部 署 环境 ， 这 个 环境 只 用 来 进行 集成 测试 

可 使 用 自己 喜欢 的 任何 工具 来 编写 集成 测试 ， 例 如 ， 使 用 curl 脚本 来 测试 一 些微 
服务 有 时 就 足够 了 。 
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不 过 ， 最 好 用 Python 来 编写 集成 测试 ， 并 让 其 成 为 项 目测 试 集 的 一 部 分 。 为 此 ， 
可 通过 Python 脚本 使 用 请 求 来 调用 微服 务 , 或 用 一 种 更 好 的 方式 , 给 微服 务 提供 一 个 
客户 端 库 ， 并 用 它 来 进行 测试 。 
集成 测试 与 功能 测试 的 主要 区 别 在 于 ， 运 行 集成 测试 时 ， 会 调用 真实 的 服务 
器 。 如 何 编写 一 个 功能 测试 ， 既 能 在 本 地 Flask 应 用 上 运行 ， 又 能 在 真实 部 
署 环境 中 运行 呢 ? 使 用 WebTest 可 解决 这 个 问题 ， 见 稍 后 的 介绍 。 


3.1.4 ”负载 测试 


负载 测试 的 目的 是 了 解 在 压力 情景 下 服务 的 瓶颈 ， 并 为 未 来 做 好 准备 ， 而 不 是 过 
早 地 进行 优化 。 

对 于 服务 的 使 用 场景 来 说 ， 也 许 第 一 个 版 本 就 已 经 足够 快 了 ， 但 理解 它 的 极限 将 
帮助 你 决定 如 何 进行 部 署 ， 以 及 如 何 设计 才能 支撑 未 来 负载 的 增长 。 

常见 的 错误 是 花费 了 很 多 时 间 让 每 个 微服 务 都 尽 可 能 快 ， 但 因为 你 的 设计 难以 将 
特定 的 微服 务 部 署 成 多 个 实例 ， 所 以 最 终 应 用 因为 只 能 单 点 部 署 而 失败 。 

编写 负载 测试 可 回答 下 列 问题 : 

o 将 服务 部 署 到 这 个 机 器 上 时 ， 服 务 的 一 个 实例 能 支持 多 少 用 户 ? 

e 当 有 10、100 或 1000 个 并 发 请 求 时 ， 平 均 响应 时 间 是 多 和 久 ? 服务 能 处 理 这 么 


多 并 发 请 求 吗 ? 
© 当 微 服务 承受 压力 时 ， 是 否 会 耗 尽 所 有 内 存 或 CPU? 
。 能 否 通 过 为 相同 服务 添加 多 个 实例 来 进行 水 平 扩展 ? 
© 当 我 的 微服 务 调用 其 他 服务 时 ， 能 使 用 连接 器 池 吗 ? 还 是 必须 在 一 个 连接 内 


序列 化 地 执行 所 有 交互 ? 

e 在 不 降级 的 情况 下 ， 服 务 能 一 次 运行 多 天 ? 

e 经 过 一 次 使 用 峰值 后 ， 服 务 是 否 还 能 正常 工作 ? 

基于 要 达到 的 不 同 负载 目标 ， 可 使 用 很 多 工具 ， 从 量 级 较 轻 的 命令 行 工 具 到 量 级 
较 重 的 分 布 式 负 载 系统 都 是 备 选 工具 。 

当 执 行 一 个 简单 的 负载 测试 时 ,不 需要 准备 特殊 的 场景 Boom(https://github.com/ 
tarekziade/boom) 是 一 个 用 Python 编写 的 工具 ， 它 与 Apache Bench 等 效 ， 可 用 来 测试 
你 的 端点 。 

在 下 例 中 ，Boom 针对 路 径 /api/ 端 点 上 的 Flask Web 服务 器 运行 一 个 持续 10 秒 的 
负载 测试 ， 模拟 了 100 个 并 发 用 户 ， 每 秒 请 求 数 (Requests Per Second，RPS) 是 286 个 。 


$ boom http://127.0.0.1:5000/api -c 100 -d 10 -q 
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eS Results: 一 一 一 一 一 一 一 

Successful calls 2866 

Total time 10.0177 s 
Average 0.3327 s 
Fastest 0.2038 s 
Slowest 0.4782 s 
Amplitude 0.2744 s 
Standard deviation 0.035476 
RPS 286 

BSI Pretty good 
i Status codes: =----==- 

Code 200 2866 times. 


RPS: Request Per Second 
BSI: Boom Speed Index 


有 些 负载 测试 的 结果 数据 并 不 是 很 有 意义 ， 因 为 它们 依赖 于 部 署 方案 ， 也 依赖 于 
运行 环境 。 例 如 ， 如 果 你 的 Flask 应 用 部 署 在 nginx 服务 器 后 面 ， 而 且 一 个 应 用 有 多 个 
实例 ， 将 能 更 好 地 处 理 传 入 的 连接 流 。 

但 这 个 小 测试 通常 可 在 早期 发 现 问题 ， 特 别 是 当代 码 正在 打开 Socket 连接 时 。 若 
微服 务 结构 设计 出 现 错误 ， 那 么 通过 使 用 诸如 Boom 的 工具 ， 很 容易 就 能 发 现 问题 。 

当 需 要 编写 有 交互 场景 的 负载 测试 时 ， 另 一 个 小 巧 的 命令 行 工 具 是 
JMolotov(https://github.com/tarekziade/molotov)。 你 可 使 用 该 工具 编写 一 个 Python 函数 ， 
用 这 个 函数 来 查询 微服 务 并 校 验 服务 的 响应 。 

下 例 中 ， 通 过 被 Molotov 选取 后 在 服务 器 上 运行 ， 每 个 函数 都 代表 一 个 可 能 世 
场景 : 


import json 


from molotov import scenario 


@scenario(5) 

async def scenario_one(session) : 
res = await session.get ("http://localhost:5000/api') .json() 
assert res['Hello'] == 'World!' 

@scenario (30) 


async def scenario_two(session) : 
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somedata = json.dumps({'OK': 1}) 
res = await session.post ('http://localhost:5000/api', 
data=somedata) 


assert res.status_code == 200 


这 两 个 工具 都 可 提供 一 些 度量 指标 ， 但 并 不 是 精准 ， 因 为 运行 测试 的 网 络 和 客户 
端 CPU 存在 差异 。 例 如 ， 如 果 测 试 本 身 就 耗 用 硬件 资源 ， 将 影响 测试 指标 。 
当 执行 负载 测试 时 ， 最 好 在 服务 器 端 添 加 一 些 度量 值 。 在 Flask 级 别 ， 可 使 用 诸 
如 Flask Profiler(https://github.com/muatik/flask-profiler) 的 小 工具 ， 它 可 用 来 收集 每 个 请 
求 花 了 多 长 时 间 ， 并 提供 一 个 仪表 盘 来 显示 收集 时 间 ( 开 销 极 小 ， 如 图 3-2 所 示 。 
还 可 通过 StatsD(https://github.com/etsy/statsd) 来 发 送 详细 指标 ， 并 使 用 诸如 


Graphite(http://graphite.readthedocs.io) 的 专用 仪表 盘 应 用 。 第 6 章 将 再 次 提 到 
相关 的 度量 。 


4_ Flask Profiler Dashboard Fiterng Settings 
Dashboard Crested a few seconds ago 24 hours | 7 days 30 days 


Method distribution Request count by time 


3800 
3000 
2500 
2000 
1500 
1000 
sm 
o: 


2017-01-09 20170110 20701: 2070112  2017:01-13 2017.0114 2017-01-19 


图 3-2 Flask Profiler 


如 果 想 要 执行 量 级 更 重 的 负载 测试 ， 则 需要 使 用 一 些 负 载 测试 框架 ， 将 测试 分 发 
给 多 个 代理 。 一 个 备 选 工具 是 locust.io(http://docs.locust.io/)。 


3.1.5 “” 端 到 端 测试 
端 到 端 测试 从 终端 用 户 的 视角 来 检查 整个 系统 是 否 符合 期 望 。 测 试 需要 像 真 实 客 
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户 的 行为 ， 通 过 相同 的 TI 来 调用 系统 。 

根据 所 编写 应 用 的 不 同类 型 , 一 个 简单 的 HTTP 客户 端 可 能 不 足以 模拟 一 个 真 
实用 户 。 例 如 ， 如 果 用 户 正在 交互 的 系统 的 可 视 化 部 分 是 一 个 包含 HIML 网 页 的 
Web MH, HTML 网 页 的 泻 染 是 在 客户 端 完成 的 ， 将 需要 使 用 诸如 Selenium 
(http://docs.seleniumhq.org/) 的 工具 来 模拟 用 户 交互 。 它 可 自动 操作 浏览 器 , 来 确保 客户 
端 请 求 每 个 CSS 和 JavaScript 文件 ， 并 正确 地 泻 染 每 个 页 面 。 

JavaScript 框架 在 客户 端 完 成 许多 工作 来 生成 页 面 。 一些 已 完全 移 除 了 服务 端 泻 染 
模板 ， 只 是 从 服务 端 获取 数据 ， 然 后 通过 浏览 器 API 来 操作 DOM(Document Object 
ModeD)， 用 获取 的 数据 生成 HTML 页 面 。 这 种 情况 下 ， 当 通过 指定 URL 请 求 服务 器 
时 ， 返 回 的 结果 由 用 来 泻 染 的 所 有 静态 JavaScript 文件 和 数据 组 成 。 


@ 如 何 编写 端 到 端 测试 不 属于 本 书 的 讨论 范围 ， 如 果 需 要 了 解 相关 信息 ， 可 参 
阅 Selenium Testing Tools Cookbook. 


下 面 总 结 本 节 讨 论 的 要 点 : 
e 功能 测试 是 要 编写 的 最 重要 测试 ， 通 过 在 测试 中 实例 化 一 个 app 并 与 其 交互 ， 
可 很 容易 地 在 Flask 中 编写 功能 测试 。 
单元 测试 是 功能 测试 的 良好 补充 ， 但 不 要 滥用 模拟 方法 。 
集成 测试 类 似 于 功能 测试 ， 但 在 真实 发 布 环 境 中 运行 测试 。 
负载 测试 有 助 于 了 解 微服 务 的 瓶颈 ， 以 便 制 定 下 一 步 改进 计 划 。 
端 到 端 测试 要 求 使 用 客户 惯用 的 UI 进行 测试 。 

何 时 编写 集成 测试 、 负 载 测试 和 端 到 端 测试 ?这 要 依据 项 目的 管理 方式 而 定 (但 
是 ， 每 次 执行 改动 时 ， 都 应 编写 单元 测试 和 功能 测试 )。 每 次 修改 代码 时 ， 理 想 情况 下 
都 应 创建 一 个 新 测试 或 修改 一 个 旧 测 试 。 

由 于 标准 库 中 已 经 包含 好 用 的 unittest 包 ， 因 此 可 使 用 普通 Python 方式 来 编写 单 
元 测试 ( 稍 后 将 看 到 如 何 使 用 pytest， 在 此 基础 之 上 添加 更 卓越 的 功能 )。 

下 一 节 将 介绍 用 于 功能 测试 的 WebTest。 


3.2 使 用 WebTest 


WebTest(http://webtest.readthedocs.io) 已 经 存在 很 长 时 间 了 ， 它 是 Tan Bicking 在 开 
发 Paste 项 目 时 编写 的 。 它 基于 WebOb(http://docs.webob.org) 项 目 ,WebOb 提供 的 功能 
类 似 于 Flask 中 的 Request 和 Response 类 (但 不 兼容 )。 

与 FlaskTest 一 样 ，WebTest 也 包装 了 对 WSGI 应 用 的 调用 ， 并 基于 这 种 方式 进行 
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交互 。WebTest 在 某 些 方面 类 似 于 FlaskTest， 如 处 理 JSON 时 不 需要 额外 帮助 ， 而 且 
WebTest 还 能 简洁 地 调用 非 WSGI 应 用 。 
为 配合 Flask 使 用 ， 可 安装 flask-webtest 包 (https://flask-webtest.readthedocs.io/)， 然 


后 即 可 像 使 有 


H Flask 原生 工具 一 样 使 用 它 : 


import unittest 


from flask basic import app as tested app 


from flask webtest import TestApp 


class TestMyApp (unittest.TestCase): 
def test_help(self): 


# creating a client to interact with the app 
app = TestApp (tested_app) 


# calling /api/ endpoint 


hello = app.get('/api') 


# asserting the body 


self.assertEqual (hello.json['Hello'], 'World!"') 


if name 


== '  main_': 


unittest.main() 


之 前 提 到 过 集成 测试 类 似 于 功能 测试 ， 但 集成 测试 会 请 求 真 实 的 服务 器 ， 而 非 本 


地 的 WSGI 应 
WebTest # 
可 将 对 Python 


Jo 


上 用 了 WSGIProxy2 J#(https://pypi.python.org/pypi/WSGIProxy2), XA JÆ 
应 用 的 调用 转换 成 对 实际 HITP 应 用 的 HTTP 请 求 。 


只 需要 在 environ 函数 中 设置 HITP_ SERVER 变量 ， 即 可 轻松 地 将 之 前 的 功能 测 
试 代码 改 成 集成 测试 : 


import unittest 


import os 


class TestMyApp (unittest .TestCase) : 


def setUp(self): 


# if HTPP_SERVER is set, we use it as an endpoint 


http_server = os.environ.get ("HTTP_SERVER') 


if http_server is not None: 


from webtest import TestApp 
self.app = TestApp(http_server) 
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if 


else: 
# fallbacks to the wsgi app 
from flask basic import app 
from flask _webtest import TestApp 
self.app = TestApp (app) 


def test_help (self): 
# calling /api/ endpoint 
hello = self.app.get('/api') 


# asserting the body 
self.assertEqual (hello.json['Hello'], 'World!') 


name == ' main ': 


unittest.main() 


通过 设置 HITP_ SERVER=http:/myservice/ 执 行 最 后 一 个 测试 时 , 所 有 调用 都 会 指 
J] myservice. 

这 个 小 技巧 可 方便 地 将 功能 测试 转变 成 集成 测试 ， 而 不 必 写 两 套 测试 。 之 前 提 到 
这 种 方式 也 有 一 些 限制 ， 如 不 能 与 本 地 应 用 实例 进行 交互 。 但 车 想 从 测试 套件 验证 部 
署 的 服务 能 否 正 常 工作 ， 这 个 技巧 将 非常 有 用 ， 因 为 只 需要 修改 一 个 选项 。 


3.3 


我 人 


lK 


使 用 pytest 和 Tox 


迄今 为 止 编写 的 所 有 测试 都 使 用 unittest. TestCase 类 和 unittestmain() 来 运行 。 


项 目 增长 时 ， 会 添加 越 来 越 多 的 测试 模块 。 


为 


动 发 现 和 运行 一 个 项 目的 所 有 测试 ，Python 3.2 的 unittest 包 引 入 了 测试 发 现 


功能 ， 此 功能 可 根据 给 定 的 选项 查找 测试 , 然后 运行 它们 。 在 Nose 和 pytest 等 项 目 中 
已 使 用 类 似 的 功能 很 信 了 ， 这 催生 了 unittest 标准 库 。 


使 


什么 运行 器 是 个 人 偏好 ， 只 要 坚持 在 TestCase 类 中 编写 测试 ， 测 试 将 与 所 有 


好 用 的 了 


这 使 得 它 比 其 他 运行 器 更 快 。 控 制 台 的 输出 也 很 美观 。 
要 在 项 目 中 使 用 它 ， 用 pip 命令 可 很 容易 完成 安装 ， 然 后 即 可 在 命令 行 中 使 用 提 
供 的 pytest 命令 了 。 下 例 中 ，pytest 命令 会 运行 所 有 以 test 开头 的 模块 : 


1 试 运行 器 兼容 。 
pytest 项 目 在 Python 社区 非常 流行 。 并 且 因 为 它 支持 扩展 ， 大 家 能 基于 它 来 编写 


[ 具 。 它 的 测试 运行 器 也 十 分 高 效 ， 后 台 发 现 测试 时 就 可 以 开始 运行 测试 了 ， 


$ pytest test_* 
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test session starts 
platform darwin -- Python 3.5.2, pytest-3.0.5, py-1.4.32, pluggy-0.4.0 
rootdir: /Users/tarek/Dev/github.com/microbook/code, inifile: 


collected 7 items 


test_app.py . 
test_app_webtest.py - 
test_bugzilla.py ... 


test_error.py .. 


7 passed in 0.55 seconds 


在 http://plugincompat.herokuapp.com/ 页 面 能 找到 jpytest 包 附带 的 大 量 扩展 。pytest-cov 


和 pytest-flake8 是 两 个 有 


的 扩展 。 前 一 个 使 


jcoverage 工 具 (https://coverage.readthedocs.io) 


来 显示 项 目的 测试 覆盖 率 ， 后 一 个 运行 Flake8(https://gitlab.com/pycqa/flake8)linter 来 确 


保 代码 遵循 PEP8 标准 ， 而 且 不 存在 未 使 用 


下 面 是 一 个 调用 示例 ， 其 中 一 些 样式 问 


的 导入 。 
故意 留 下 的 : 


题 是 


$ pytest --cov=flask_basic --flake8 test_* 

test session starts 
platform darwin -- Python 3.5.2, pytest-3.0.5, py-1.4.32, pluggy-0.4.0 
rootdir: /Users/tarek/Dev/github.com/microbook/code, inifile: 
plugins: flake8-0.8.1, cov-2.4.0 
collected 11 items 


test_app.py F. 

test_app_webtest.py F. 

test_bugzilla.py F... 

coverage: platform darwin, python 3.5.2-final-0O 


Name Stmts Miss Cover 
flask_basic.py 6 1 83% 
FAILURES 
FLAKE8-check 
test_app.py:18:1: E305 expected 2 blank lines after class or function 
definition, found 1 
test_app.py:21:1: W391 blank line at end of file 
FLAKE8-check 
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test_app_webtest.py:29:1: W391 blank line at end of file 
FLAKE8-check 

test_bugzilla.py:26:80: E501 line too long (80 > 79 characters) 

test_bugzilla.py:28:80: E501 line too long (82 > 79 characters) 

test_bugzilla.py:40:1: W391 blank line at end of file 


3 failed, 7 passed, 0 skipped in 2.19 seconds 


Tox(http://tox.readthedocs.io) 是 另 一 个 与 pytest 结合 使 用 的 工具 。 

如 果 需 要 在 多 个 Python 版 本 上 运行 项 目 ， 或 者 只 想 确保 代码 在 最 新 的 Python 2 
和 Python 3 版 本 上 都 可 工作 ，Tox 能 自动 创建 独立 的 环境 来 运行 测试 。 

通过 安装 Tox( 使 用 pip install tox 命令 )， 然 后 在 项 目 中 创建 一 个 tox.ini 配置 文件 ， 
就 能 告诉 它 将 在 Python 2.7 和 Python 3.5 上 运行 项 目 。Tox 会 假设 你 的 项 目 是 一 个 
Python 包 , 在 包 的 根 目录 下 有 一 个 setup.py 文件 ， 使 用 Tox 的 唯一 要 求 是 将 tox.ini 和 
setup.py 放 在 一 起 。 

tox.ini 文件 包 运行 测试 的 命令 行 ， 命 令 行 会 根据 设 定 的 Python 版 本 来 执行 : 


[tox] 
envlist = py27,py35 


[testenv] 

deps = pytest 
pytest-cov 
pytest-flake8 


commands = pytest --cov=flask basic --flake8 test_* 


当 调用 tox 命令 执行 Tox 时 ， 对 于 每 个 Python 版 本 ， 都 会 创建 独立 的 测试 环境 ， 
然后 部 署 包 和 相关 依赖 项 ， 最 后 在 测试 环境 中 使 用 pytest 运行 测试 。 

当 希 望 更 快运 行 测试 时 ， 一 个 有 效 方法 是 使 用 tox -e 运行 独立 的 环境 。 例 如 ，tox 
-epy35 仅 在 Python 3.5 环境 下 运行 pytest。 

即便 只 需要 支持 一 个 Python 版 本 ， 只 要 已 经 正确 地 定义 了 所 有 依赖 项 ， 使 用 Tox 
将 确保 项 目 被 安装 到 当前 的 Python 环境 中 。 

强烈 推荐 使 用 这 个 工具 。 


@ 第 9 章 将 详细 讲解 如 何 打包 微服 务 ， 将 使 用 Tox 和 其 他 工具 一 起 完成 打包 。 
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3.4 开发 者 文档 


至 此 , 已 经 介绍 了 针对 微服 务 的 各 种 测试 , 前 面 提 到 过 文档 应 该 和 代码 一 起 演进 。 

现在 开始 介绍 开发 者 文档 ， 它 包含 开发 者 应 该 知道 的 有 关 微 服务 项 目的 一 切 ， 
比如 : 

e 设计 方式 

e 安装 方式 

e 如 何 运 行 测试 

e 公开 的 API 有 哪些 ， 流 入 流出 的 数据 都 有 哪些 ， 等 等 

Sphinx 工具 已 成 为 Python 社区 的 标准 ， 用 于 为 Python 编写 文档 。 

通过 将 内 容 和 布局 分 开 ，Sphinx 像 源 代码 一 样 处 理 文档 。 使 用 Sphinx 的 常见 方法 
是 在 项 目 中 布置 一 个 docs 目录 ， 用 来 存放 文档 内 容 ， 然 后 调用 Sphinx 的 命令 行 工具 
来 生成 文档 ， 生 成 的 文档 会 使 用 一 种 输出 格式 ， 如 HTML 格式 。 

使 用 Sphinx 生成 的 HTML 输出 结果 能 直接 生成 优秀 的 静态 网 站 ， 静 态 网 站 可 直 
接 发 布 到 网 上 ， 其 中 包含 索引 页 、 一 个 基于 JavaScript 的 小 搜索 引擎 以 及 导航 功能 。 

必须 使 用 reStructuredText(http:/docutils.sourceforge.netrsthtmD 语 言 来 编写 文档 内 
容 ， 这 是 Python 社区 中 一 个 常用 的 标准 标记 语言 。reST 文件 是 一 个 简单 文本 文件 ， 
它 有 具有 非 侵 入 性 的 语法 特点 ， 能 标记 章节 标题 、 链 接 、 文 本 样式 等 。Sphinx 添加 了 一 
些 扩展 ， 并 在 文档 中 总 结 了 如 何 使 用 reST， 通 过 访问 http:/www.sphinx-doc.org/en/ 
latest/rest.html 可 学 习 如 何 编 写 文档 。 


Markdown(https://daringfireball.net/projects/markdown/) 是 另 一 种 流行 于 开源 社 

0 区 的 标记 语言 。 遗 憾 的 是 ， 由 于 Sphinx 依赖 一 些 reST 扩展 ， 通 过 
recommonmark 包 只 能 部 分 支持 Markdown。 但 好 消息 是 ， 如 果 你 熟悉 
Markdown, reST 也 没有 太 大 区 别 。 


通过 sphinx-quickstart 命令 在 项 目 中 使 用 Sphinx 时 ， 它 会 在 index.rst 文件 中 生成 
源码 树 ， 这 是 文档 的 入 口 页面 。 然 后 使 用 这 个 文件 调用 sphinx-build 命令 来 创建 文档 。 

例如 ， 要 生成 HIML 文档 ， 可 在 tox.ini 文件 中 添加 一 个 docs 环境 变量 ， 让 工具 
自动 构建 文档 ， 像 下 面 这 样 : 


[tox] 
envlist = py35,docs 
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[testenv:docs] 

basepython=python 

deps = 
-rrequirements.txt 
sphinx 

commands= 


sphinx-build -W -b html docs/source docs/build 


然后 运行 tox -e docs 就 能 生成 文档 了 。 

通过 将 代码 粘贴 到 一 段 文本 块 中 ， 然 后 在 文本 块 前 标记 :: 前 缀 和 code-block 指令 ， 
就 能 在 Sphinx 中 显示 代码 示例 了 。 在 HIML 中 , Sphinx 将 使 用 Pygments(http://pygments.org/) 
语法 高 亮 泻 染 代码 : 


Flask Application 


Below is the first example of a **Flask** app in the Flask official doc: 
。 code-block:: python 


from flask import Flask 
app = Flask( name ) 


@app.route("/") 
def hello(): 
return "Hello World!" 


if name ==" main ": 


app.run() 


That snippet is a fully working app! 


但 一 旦 代码 发 生 改 变 ， 文 档 中 添加 的 代码 段 将 随 之 过 时 。 为 避免 过 时 ， 一 种 方法 
是 从 源 代码 抽取 文档 中 显示 的 代码 片段 。 

为 此 , 可 使 用 docstring 在 源 代码 的 模块 、 类 或 函数 上 编写 文档 , 然后 使 用 Autodoc 
Sphinx 扩展 (http://www.sphinx-doc.org/en/latest/ext/autodoc.html)， 这 个 扩展 可 从 源 代码 
中 提取 docstring， 然 后 插入 文档 中 。 

要 查看 Python 是 如 何 文档 化 其 标准 库 的 ， 可 访问 页 面 https://docs.python.org/ 
3/library/index.html。 下 例 中 , autofunction 指 令 会 从 myservice/views/home.py 模 块 的 index 
函数 中 抽取 docstring 来 生成 文档 。 
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**myservice** includes one view that's linked to the root path: 


. autofunction :: myservice.views.home.index 


如 果 演 染 成 HIML 页 面 ， 将 如 图 3-3 所 示 : 
APIS 


myservice includes one view that’s linked to the root path: 


myservice. views. home. index() 
Home view. 


This view will return an empty JSON mapping. 


©2017, joe. | Powered by Sphinx 1.5.1 & Alabaster 0.7.9 | Page source 


图 3-3 抽取 docstring 生成 HIML 文档 


另 一 个 选项 是 使 用 literalinclude 指令 ， 它 允许 指向 一 个 文件 ， 并 提供 选项 来 高 亮 
显示 文件 的 章节 。 若 所 指 文件 是 一 个 Python 模块 ， 这 个 文件 还 会 被 测试 套件 包含 以 确 
保 能 正常 工作 。 

下 面 是 一 个 使 用 Sphinx 编写 项 目 文档 的 完整 示例 : 


Myservice 


**myservice** is a simple JSON Flask application that uses **Flakon**. 


The application is created with :func:*flakon.create_app*: 


- literalinclude:: ../../myservice/app.py 


The :file:*settings.ini* file which is passed to :func: create app` 
contains options for running the Flask app, like the DEBUG flag: 
- literalinclude:: ../../myservice/settings.ini 


:language: ini 
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Blueprint are imported from :mod: "myservice-views ”and one 


Blueprint and view example was provided in :file: ‘myservice/views/home.py~ 


literalinclude: 


../../myservice/views/home.py 


:name: home.py 


z:emphasize-lines: 13 


Views can return simple mappings (as highlighted in the example above), 


in that case, they will be converted into a JSON response. 


页 面 会 泻 染 成 HIML， 如 图 3-4 所 示 : 


Myservice 
myservice is a simple JSON Flask application that uses Flakon. 


The application is created with flakon.create_app(): 


import os 
from flakon import create_app 
from myservice.views import blueprints 


HERE = os.path.dirname(__file_) 
“SETTINGS = os.path.join(_HERE, ‘settings. ini") 


app = create_app(blueprints=blueprints, settings=_SETTINGS) 


The settings. ini file which is passed to create_app() contains options for running 
the Flask app, like the DEBUG flag: 


[flask] 
DEBUG = true 


Blueprint are imported from myservice. views and one Blueprint and view example 
was provided in myservice/views/home.py: 


from flask import Blueprint 
home = Blueprint('home’, __name__) 


@home. route(*/') 
def index(): 
“""Home view. 


s view will return an empty JSON mapping. 


return {} 


Views can return simple mappings (as highlighted in the example above), in tha case 
they will be converted into a JSON response. 


©2017, joe. | Powered by Sphinx 1.5.1 & Alabaster 0.7.9 | Page source 


图 3-4 抽取 源 代码 生成 HIML 文档 
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当然 ， 使 用 Autodoc 和 literalinclude 不 会 修复 文档 的 行文 或 结构 
的 文档 同步 是 困难 的 ， 还 需要 做 更 多 工作 。 
因此 ， 任 何 可 自动 完成 部 分 文档 的 工具 都 算是 很 棒 的 。 


要 保持 适当 


在 第 4 章 将 介绍 如 何 用 Swagger 和 sphinx-swagger 扩展 为 微服 务 HTTP API 
编写 文档 。 

本 节 有 四 个 要 点 : 

e Sphinx 是 一 个 用 来 编写 项 目 文档 的 强大 工具 。 

e 将 文档 当 作 源 代 码 来 处 理 ， 会 让 维护 文档 更 加 方便 。 

e 当代 码 改变 时 ， 可 用 Tox 重建 文档 。 

e 如 果 让 文档 指向 代码 ， 维 护 文档 将 更 容易 。 


3.5 “持续 集成 


当 项 目 发 生 改变 时 ，Tox 可 自动 执行 下 面 的 每 一 步 : 在 各 种 Python 解释 器 上 运行 
测试 ， 验 证 测试 覆盖 率 ， 检 查 是 否 满足 PEP8 的 要 求 ， 构 建文 档 ， 等 等 。 

但 如 果 每 次 改变 都 运行 所 有 检查 ， 会 耗费 不 少时 间 和 资源 ， 尤 其 当 项 目 需要 支持 
多 个 解释 器 时 。 

持续 集成 (Continue Integration) 系 统 可 解决 这 个 问题 ， 每 次 项 目 发 生 改变 时 ，CI 会 
接管 这 些 工作 。 

将 项 目 推送 到 一 个 基于 DVCS (Distributed Version Control System， 分 布 式 版 本 控 
制 系统 ) 的 共享 代码 库 ， 例 如 Git 或 Mercurial。 每 次 有 人 将 代码 推 入 代码 库 服务 器 后 ， 
代码 库 服务 器 可 触发 一 个 CI。 

如 果 只 在 一 个 开源 软件 上 工作 ， 而 且 并 不 打算 维护 自 有 的 代码 服务 器 ， 最 流行 的 
代码 服务 器 有 GitHubhttp://github.com)、GitLab(http://gitlab.com) 和 BitBucket(https://bitb 
ucket.org/)。 如 果 是 公开 项 目 ， 它 们 会 免费 维护 ， 并 提供 社交 功能 ， 社 交 功 能 可 让 其 他 
人 很 容易 地 为 项 目 贡献 代码 。 当 项 目 发 生变 更 时 ， 这 些 代 码 服务 器 都 提供 了 集成 点 用 
来 运行 任何 需要 运行 的 脚本 。 

例如 ， 在 GitHub 上 ， 如 果 在 reST 文档 中 看 到 一 个 拼写 错误 ， 可 直接 从 浏览 器 修 
改 它 ， 预 览 结果 ， 然 后 通过 点 击 按钮 ， 就 能 向 项 目 维护 者 发 送 一 个 PR(Pull Request)。 
此 后 项 目 会 自动 开始 重建 ， 一 旦 完成 ， 构 建 状态 将 显示 在 PR 上 。 

许多 开源 项 目 使 用 这 些 服务 创建 一 个 有 很 多 贡献 者 的 繁荣 社区 。Mozilla 在 Rust 
项 目 上 使 用 了 GitHub， 毫 无 疑问 ， 这 有 助 于 吸引 更 多 贡献 者 参与 进来 。 
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3.5.1 Travis-Cl 


GitHub 可 直接 与 一 些 CI 集成 ， 一 个 非常 流行 的 CI 是 Travis-Cl(https://travi 
s-ci.org/)， 开 源 项 目 可 免费 运行 它 。 一 旦 拥有 Travis-CI 账户 ， 就 可 在 设置 页 面 上 激活 
存放 在 GitHub 上 的 项 目 。 

Travis-CI 依赖 于 .travis.yml YAML 文件 ， 该 文件 需要 放 在 代码 库 的 根 目录 下 ， 它 
描述 了 当 项 目 发 生 改变 时 需要 做 什么 。 

这 个 YAML 文件 包含 一 个 env 块 ， 用 来 描述 构建 的 matrix。matrix 是 一 组 构建 的 

合 ， 每 次 项 目 发 生 改 变 时 ， 将 可 并 行 地 运行 。 

matrix 可 与 Tox 环境 相 匹 配 ， 通 过 tox -e 可 独立 地 在 每 个 环境 中 和 运行。 这样 ， 你 

能 知道 何 时 由 于 更 改 破坏 了 一 个 特定 环境 。 


language: python 
python: 3.5 

env: 

- TOX_ENV=py27 

- TOX_ENV=py35 

- TOX_ENV=docs 

- TOX_ENV=flake8 
install: 

- pip install tox 
script: 

- tox -e $TOX ENV 


Travis-CI 包含 与 Python 项 目 一 起 工作 需要 的 一 切 ， 所 以 可 在 install 部 分 用 pip 命 
令 安装 Tox， 然 后 启动 构建 。 


© tox-travis 是 一 个 有 趣 的 项 目 ， 它 扩展 了 Tox 来 简化 Travis 集成 。 它 提供 的 功 
能 像 一 个 环境 检测 器 ， 简 化 了 tox.ini 文件 的 编写 。 


如 果 有 系统 级 依赖 项 ， 可 通过 YAML 文件 进行 安装 ， 甚 至 运行 bash 命令 。 默 认 
环境 运行 Linux Debian, 你 可 直接 在 YAML 文件 的 before-install 部 分 键入 apt-get 命令 。 

Travis 也 支持 设置 特殊 服务 (参考 https://docs.travis-ci.com/user/database-setup/)， 如 
数据 库 等 。 通 过 对 services 部 分 进行 配置 ， 就 能 为 项 目 部 署 特殊 服务 。 

如 果 微 服务 使 用 PosgtreSQL、MySQL 或 其 他 主流 开源 数据 库 ， 它 们 可 能 是 直接 
可 用 的 。 如 果 没 有 使 用 ， 可 直接 编译 数据 库 并 在 构建 上 运行 它 。 当 使 用 Travis-CI 时 ， 
Travis 文档 (https://docs.travis-ci.com/) 是 一 个 提供 帮助 的 好 地 方 。 


iili 
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Travis TÆ Linux 代理 上 触发 构建 ， 也 能 有 限 地 支持 macOS X. IZ, 
还 不 支持 Windows。 


3.5.2 ReadTheDocs 


与 Travis 使 用 方法 一 样 ， 另 一 个 可 挂 在 GitHub 代 码 库 上 的 服务 是 RTD(ReadTheDocs， 
https://docs. readthedocs.io). 

不 需要 在 代码 库 中 做 任何 事情 ， 它 就 能 生成 项 目 文档 并 托管 文档 。 只 需要 配置 
RID， 即 可 从 Sphinx HtmlDir 创建 文档 ， 服 务 会 自动 找到 相关 元 素 。 

对 于 非 Travis 集成 ，RID 可 通过 YAML 文件 进行 配置 。 一 旦 文档 准备 就 绪 ， 就 
可 通过 https://<yourprojectname>.readthedocs.io 进行 访问 。 

RID 还 附带 版 本 支持 功能 ， 当 发 布 服务 的 新 版 本 时 非常 有 用 。 该 功能 会 扫描 Git 
标签 ， 根 据 每 个 标签 构建 和 发 布 文档 ， 然 后 决定 哪 一 个 是 默认 的 。 

与 版 本 功能 一 样 ， 如 果 需 要 使 用 多 国语 言 编写 文档 ，RTD 还 提供 国际 化 (i18n) 
支持 。 


3.5.3 Coveralls 


当 CI 使 用 Travis-CI, 代码 库 使 用 GitHub EÈ Bitbucket Ih}, 另 一 个 可 挂 在 代码 库 上 
的 常用 服务 是 Coveralls。 这 个 服务 能 通过 美观 的 Web UI 显示 测试 覆盖 率 。 

一 旦 在 Coveralls 账号 下 添加 了 代码 库 ， 通 过 在 测试 完成 后 指示 Tox 连接 到 域名 
http://coveralls.io， 即 可 直接 从 Travis-CI 触发 对 http://coveralls.io 的 调用 。 

下 面 的 [testenv] 块 已 完成 了 对 tox.ini 文件 的 修改 ， 用 粗 体 显示 : 


[testenv] 
passenv = TRAVIS TRAVIS_JOB_ID TRAVIS BRANCH 
deps = pytest 

pytest-cov 

coveralls 


-rrequirements.txt 


commands =. 


pytest --cov-config .coveragerc --cov myservice myservice/tests 


- coveralls 

pytest 调用 完成 后 , coveralls-python 包 ( 在 PyPI 中 名 为 Coveralls) 用 于 通过 coveralls 
命令 将 负载 发 送 给 coveralls.io。 
注意 调用 的 前 级 是 短 划 线 (-)。 像 Makefiles 中 一 样 ， 这 个 前 缀 会 忽略 任何 失败 , 在 
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本 地 


文件 ， 


运行 


性 显 


运行 Tox 时 会 阻止 Tox 失败 。 除 非 设置 一 个 包含 身份 验证 令 牌 的 特殊 .coveralls.yml 


否则 在 本 地 运行 Coveralls 总 是 会 失败 。 当 从 Travis-CI 运行 Coveralls I}, H 
这 个 设置 ， 这 要 感谢 从 GitHub 传 给 其 他 服务 的 Token 的 魔力 。 


EF 不 


要 从 Travis 使 用 Coveralls， 需 要 通过 passenv 传递 多 个 环境 变量 ， 其 他 的 会 


动 


项 目 和 Travis-CI 上 的 任何 改变 都 会 触发 构建 ， 构 建 反 过 来 会 触发 Coveralls 概括 


示 测试 覆盖 率 及 其 随 着 时 间 发 生 的 变化 ， 如 图 3-5 所 示 。 


过 服 


SEARCH: 
| us | CHANGED 0 SOURCE CHANGED 0 COVERAGE CHANGED 0 
a 
myservice/Views/home.py 13 4 3 1 10 
myservicenestsnest home py 7 4 4 0 10 
myservice/views/_init_py 4 2 2 0 1.0 
© 100.0 myservice/_init_.py 1 1 1 0 1.0 
© 100.0 myservicenests/_init_ py 0 0 0 0 00 
myservice/app.py 9 6 6 0 10 
mow 10 rf ors Showing 1 t06 of 6 entries 一 mou5 1 NoT 


图 3-5 Coveralls 页 面 


还 有 很 多 服务 可 挂 在 GitHub 或 Travis-CI 上 ，Coveralls 只 是 其 中 的 一 个 例子 。 


一 旦 开始 给 项 目 添加 服务 ， 最 好 在 项 目的 README 中 使 用 对 应 的 标志 ， 这 样 通 


务 链接 ， 社 区 人 员 一 眼 即 可 看 到 每 个 服务 的 状态 。 
例如 ， 在 代码 库 中 添加 READMErst 文件 : 


microservice 


This project is a template for building microservices with Flask. 


. image:: 
https: //coveralls.io/repos/github/tarekziade/microservice/badge. 
svg?branch=master 
itarget: 


https: //coveralls.io/github/tarekziade/microservice?branch=master 


第 3 章 良性 循环 : 编码 、 测 试 和 写 文档 


- - image:: https://travis-ci.org/tarekziade/microservice.svg?branch=master 


:target: https://travis-ci.org/tarekziade/microservice 


. image:: 
https: //readthedocs.org/projects/microservice/badge/?version=latest 


:target: https://microservice.readthedocs.io 


在 GitHub 的 项 目 首页 上 ， 上 述 文件 的 显示 效果 如 图 3-6 所 示 。 


国 README.rst 


microservice 


This project is a template for building microservices with Flask. 


图 3-6 README 页 面 


36 ”本 章 小 结 


本 章 首先 介绍 微服 务 项 目的 各 种 测试 类 型 。 功 能 测试 是 最 常 编写 的 类 型 ， 而 
WebTest 是 一 个 非常 好 用 的 工具 。pytest 配合 Tox 可 更 轻松 地 运行 测试 。 
最 后 要 指出 的 是 ,如 果 将 项 目 存放 在 GitHub 上 , 可 免费 地 构建 整个 持续 集成 系统 ， 
这 要 感谢 Travis-CI。 这 样 ， 有 大 量 免费 的 服务 可 配合 Travis 使 用 ， 如 Coveralls。 还 可 
自动 地 构建 文档 ， 然 后 发 布 到 ReadTheDocs 上 。 


@ 为 演示 这 一 切 是 如 何 结合 在 一 起 的 ，GitHub 上 有 一 个 微服 务 项 目 使 用 了 
Travis-CI、 RTD 和 coveralls.io, 项 目 发 布 在 https://github.com/Runnerly/microservice。 


现在 已 经 介绍 了 一 个 Flask 项 目 如 何 做 到 持续 地 开发 、 测 试 和 写 文档 ， 你 可 通过 
这 些 了 解 如 何 设计 一 个 基于 微服 务 的 完整 项 目 。 下 一 章 将 介绍 微服 务 应 用 的 设计 。 
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在 第 1 章 中 提 到 ， 在 构建 基于 微服 务 的 应 用 时 ， 最 自然 的 方式 是 从 一 个 实现 了 所 
有 功能 的 单 体 版 本 开始 ， 此 后 将 其 拆 分 成 有 意义 的 微服 务 。 在 开发 的 第 一 天 就 试图 设 
计 一 个 基于 若干 个 微服 务 的 架构 将 后 患 无 穷 。 理 解 应 用 将 如 何 组 织 ， 以 及 它 在 成 熟 时 
将 如 何 演进 ， 是 非常 困难 的 。 

本 章 将 构建 一 个 实现 了 所 有 必需 功能 的 单 体 应 用 来 完成 这 个 过 程 ， 然 后 考虑 如 何 
将 应 用 分 解 为 较 小 的 服务 ， 最 后 将 以 一 个 基于 微服 务 的 设计 收尾 。 

本 章 分 为 以 下 3 个 主要 部 分 : 

e 介绍 Runnerly 应 用 及 其 用 户 故 事 

e 如 何 将 Runnerly 构建 为 一 个 单 体 应 用 

e 单 体 应 用 如 何 演进 成 微服 务 

当然 在 实际 中 ， 只 要 单 体 应 用 的 设计 变 得 成 熟 一 些 ， 拆 分 过 程 就 会 随 着 时 间 的 推 
移 而 发 生 。 但 本 章 假设 应 用 的 第 一 个 版 本 已 经 用 了 一 段 时 间 ， 并 展现 出 一 些 正确 地 拆 
分 应 用 的 线索 。 


4.1 Runnerly 应 用 


Runnerly 是 为 本 书 创建 的 ， 是 供 跑步 者 使 用 的 玩具 应 用 。 请 不 要 在 App Store 或 
者 Play Store 搜索 它 ， 因 为 它 并 不 对 真实 用 户 发 布 或 部 署 。 

不 过 ， 这 个 应 用 确实 可 以 运行 。 可 访问 GitHub 上 的 Runnerly 组 织 (https:/github. 
com/Runnerly) 来 查找 和 学 习 它 的 不 同 组 件 。 

Runnerly 提供 一 个 Web 页 面 ， 用 户 一 眼 就 能 看 到 自己 的 跑步 活动 、 竞 赛 和 训练 
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计划 。 这 是 一 个 响应 式 页 面 , 因此 在 手机 和 桌面 浏览 器 上 都 能 展示 这 个 应 用 。Runnerly 
也 发 送 用 户 活动 的 月 度 报告 。 

注册 到 Runnerly 的 用 户 ， 需 要 将 自己 的 账户 关联 到 Strava E (https:/www.strava. 
com)。 此 时 会 使 用 标准 的 OAuth2(https://oauth.net/2/) 机 制 |。 


0 


用 户 
化 了 许多 


OAuth2 标准 基于 这 样 的 想法 : 利用 用 户 的 唯一 访问 令 牌 ,授权 第 三 方 应 用 
访问 服务 。 这 个 令 牌 是 服务 生成 的 ， 通 常 包含 权限 范围 。Strava 有 一 个 完 
的 API 集合 ， 它 们 都 可 用 这 种 方式 来 访问 ， 见 文档 https://strava.github.io/ 
api/v3/. 

授权 后 ，Runnerly 会 从 Strava 中 拉 取 跑步 活动 ， 并 存 入 数据 库 。 这 个 流程 简 
集成 工作 ， 让 应 用 可 与 大 多 数 跑 步 设备 兼容 。 如 果 你 的 设备 能 与 Strava 一 起 


工作 ， 那 么 它 也 能 与 Runnerly 一 起 工作 。 
一 旦 数据 库 可 从 Strava 中 获取 内 容 , 应 用 的 仪表 盘 (Dashboard) 上 就 会 显示 最 近 10 
次 的 跑步 记录 ， 用 户 还 可 使 用 Runnerly 的 额外 特性 : 竞赛 、 训 练 计划 和 月 度 报告 。 
现在 开始 通过 用 户 故 事 来 深入 讲解 Runnerly 的 特性 。 


用 户 故 事 
描述 应 用 的 最 佳 方式 是 使 用 “用 户 故事 (user story)”. 用 户 故 事 简单 描述 用 户 与 应 


~ 


微服 务 。 


进行 的 所 有 交互 活动 ， 通 常 是 项 目 启动 时 最 先 编写 的 高 级 文档 。 
这 些 交互 的 细节 起 初 十 分 简单 ， 此 后 每 次 出 现 新 的 特定 情况 时 ， 都 会 重新 改进 。 
用 户 故事 也 在 检测 是 否 要 拆 分 微服 务 时 特别 有 用 : 一 个 独立 的 用 户 故事 可 能 就 是 一 个 


对 Runnerly 来 说 ， 可 从 下 面 的 用 户 故事 集合 开始 : 


ef 


e í 


e í 
e ff 


e f 


来 激活 账户 。 


为 一 个 用 户 ， 我 能 使 用 邮箱 来 创建 账户 ， 并 通过 收 件 箱 中 的 一 个 确认 链接 


为 一 个 用 户 ， 我 可 通过 接 入 Runnerly 把 我 的 个 人 信息 与 我 的 Strava 账户 


关联 。 


为 一 个 关联 用 户 ， 我 可 在 仪表 盘 看 到 最 近 10 次 的 跑步 记录 。 
为 一 个 关联 用 户 ， 我 可 添加 自己 想 参加 的 竞赛 。 其 他 用 户 也 可 在 他 们 的 仪 


表盘 上 看 到 这 个 竞赛 信息 。 


为 一 个 注册 用 户 ， 我 会 通过 电子 邮件 收 到 月 度 报 告 ， 其 中 描述 了 我 的 当前 


活动 。 


#4 设计 Runnerly 


作为 一 个 关联 用 户 ， 我 可 选择 我 打算 参加 的 某 个 竞赛 的 训练 计划 ， 并 在 仪表 
盘 上 看 到 训练 日 程 。 其 中 ， 训 练 计划 简单 列 出 尚未 完成 的 跑步 活动 。 


上 面 的 用 户 故事 中 ， 己 经 涌现 出 一 些 组 件 。 不 按 特 定 的 顺序 ， 它 们 是 : 


应 用 需要 一 个 注册 机 制 ， 将 用 户 添加 到 数据 库 ， 并 确保 用 户 拥 有 用 于 注册 的 
邮箱 地 址 。 

应 用 需要 使 用 密码 对 用 户 进行 身份 验证 。 

为 从 Strava 中 拉 取 数据 ， 需 要 在 用 户 档案 中 保存 Strava 用 户 令 牌 ， 这 个 令 牌 
还 用 来 调用 Strava 的 服务 。 

除了 跑步 活动 ， 还 要 在 数据 库 中 保存 竞赛 和 训练 计划 。 

训练 计划 是 一 个 特定 日 期 的 跑步 活动 列表 ， 以 便 在 给 定 的 竞赛 中 尽量 提高 成 
绩 。 创 建 一 个 训练 计划 ， 需 要 用 户 的 一 些 信息 ， 如 年 龄 、 性 别 、 体 重 和 健身 
级 别 。 

月 度 报告 是 通过 查询 数据 库 生 成 的 汇总 信息 ， 通 过 邮件 发 送 。 


有 了 上 面 的 信息 ， 就 可 以 进行 开发 了 。 下 面 描述 如 何 进行 设计 和 编码 。 


4.2 


单 体 设计 


本 节 介 绍 从 单 体 版 Runnerly 中 提取 的 内 容 。 如 果 想 仔细 地 学 习 它 ， 可 在 
https://github.com/Runnerly/monolith 查 看 完整 代码 。 

在 构建 应 用 时 ， 通 常 使 用 的 设计 模式 是 MVC(Model-View-Controller， 视 图 -模型 - 
控制 器 ) 模 式 ， 它 将 代码 分 成 以 下 3 个 部 分 : 


模型 : 用 来 管理 数据 。 


e 视图 : 在 特定 上 下 文中 (Web 页 面 、PDF 页 面 等 ) 展 示 模 型 。 

o 控制 器 : 处 理 模型 并 改变 它 的 状态 。 

显然 , SQLAIlchemy 可 作为 模型 部 分 , 但 在 Flask P, 视图 和 控制 器 的 差别 较为 模 
糊 ， 这 是 因为 Flask 中 的 视图 是 一 个 接收 请 求 并 返回 响应 的 函数 。 这 个 函数 可 展示 数 
据 ， 也 可 处 理 数据 。 所 以 可 同时 充当 视图 和 控制 器 。 

Django 项 目 将 这 个 模式 称 为 MVT (Model-View-Template， 模 型 -视图 -模板 ) 模 式 。 
视图 是 Python 的 可 调用 代码 ; 模板 是 一 个 模板 引擎 , 或 者 基于 给 定数 据 生 成 特定 响应 
格式 的 任何 东西 。 

例如 ， 在 JSON 视图 中 ，json.dumps0 就 是 模板 。 当 使 用 Jinja 泻 染 HTML 时 ， 模 
板 就 是 通过 render template0 函 数 调用 的 HTML 模板 。 


fi 


E 何 情况 下 ， 设 计 应 用 的 第 一 个 步骤 是 定义 模型 。 
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4.2.1 模型 


在 基于 SQLAlchemy 的 Flask 应 用 中 ， 模 型 通过 类 来 描述 ， 这 个 类 也 描述 了 数据 
库 模 式 。 

Runnerly 中 的 数据 库 表 包括 : 

e 用 户 (User): 包含 每 个 用 户 的 信息 ， 包 括 用 户 凭证 。 

e 跑步 (Run): 跑步 活动 列表 ， 包 含 从 Strava 获取 的 所 有 信息 ， 以 及 训练 计划 中 

的 跑步 活动 。 

。 竞赛 (Race): 用 户 添加 的 竞赛 列表 ， 包 含 日 期 、 位 置 和 距离 。 

e 计划 (Plan): 训练 计划 ， 代 表 将 要 完成 的 跑步 活动 的 列表 。 

使 用 flask_sqlalchemy(http://flask-sqlalchemy.pocoo.org/) 这 个 扩展 , 可 将 Model 作为 
基 类 ， 来 指定 模型 的 数据 库 表 。 下 面 是 使 用 SQLAlchemy 来 定义 User 表 的 方式 


from flask_sqlalchemy import SQLAlchemy 
db = SQLAlchemy () 


class User (db.Model) : 
__tablename_ = 'user' 
id = db.Column(db.Integer, primary key=True, autoincrement=True) 
email = db.Column (db.Unicode (128), nullable=False) 
firstname = db.Column (db. Unicode (128) ) 
lastname = db.Column (db.Unicode (128) ) 
password = db.Column (db. Unicode (128) ) 
strava_token = db.Column (db. String (128) ) 
age = db.Column (db. Integer) 
weight = db.Column(db.Numeric(4, 1)) 
max_hr = db.Column (db. Integer) 
rest_hr = db.Column (db. Integer) 


vo2max = db.Column(db.Numeric(4, 2)) 


flask_sqlalchemy 会 将 对 SQLAIchemy 的 所 有 调用 封装 起 来 , 并 在 视图 中 公开 一 个 
数据 库 会 话 对 象 ， 用 来 操纵 模型 。 


422 ”视图 与 模板 


应 用 接收 到 请 求 时 ,会 调用 视图 ，flask_sqlalchemy 会 在 应 用 上 下 文中 创建 数据 库 
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会 话 对 象 。 下 面 是 一 个 完整 的 Flask 应 用 ， 在 /users 对 应 的 视图 中 ， 查 询 了 上 文 定义 的 
数据 库 模 式 : 


from flask import Flask, render template 
app = Flask( name ) 


@app. route ('/users') 
def users(): 
users = db.session.query (User) 
return render_template("users.html", users=users) 


if name == '_main_': 


db.init_app (app) 
db.create_all (app=app) 
app. run () 


当 调 用 db.session.query0 方 法 时 ， 会 查询 数据 库 ， 并 将 从 User 表 中 查询 到 的 结果 
转换 成 User 对 象 。 这 些 对 象 会 传 给 Jinja 格式 的 模板 users.html， 最 终 演 染 成 HTML 


页 面 。 
在 上 例 中 ，Jinja 用 来 生成 HTML 页 面 ， 显 示 用 户 信息 ， 模 板 如 下 所 示 : 


<html> 
<body> 
<hl>User List</h1> 
<ul> 
{% for user in users: %} 
<li> 
{{user.firstname}} {{user.lastname}} 
</li> 
{% endfor %} 
</ul> 
</body> 
</html> 


如 果 要 通过 网 页 来 修改 数据 , 可 使 用 WTForms(http://wtforms.readthedocs.io) 为 每 个 
模型 生成 表单 。WTForms 是 一 个 使 用 Python 来 定义 表单 并 生成 HTML 表单 的 库 ， 还 
负责 从 请 求 中 提取 数据 ， 并 在 更 新 模型 前 校 验 数据 。 

Flask-WTFhttps://flask-wtfreadthedocs.io/) 项 目 特意 为 Flask 封 装 了 WTForms， 并 添 
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加 了 其 他 一 些 有 用 的 集成 功能 ， 例 如 通过 使 用 CSRF(Cross-Site Request Forgery) 令 牌 ， 
来 增强 表单 的 安全 。 


用 户 登 录 后 ，CSRF 令 牌 会 确保 恶意 的 第 三 方 站 点 无 法 给 应 用 发 送 有 效 的 表 
单 。 第 7 章 将 详细 解释 CSRF 的 原理 及 其 对 应 用 安全 的 重要 性 。 


下 面 的 模块 为 User 表 实 现 了 一 个 表单 ， 你 可 从 中 了 解 FlaskForm 的 基本 用 法 : 


from flask wtf import FlaskForm 
import wtforms as f 


from wtforms.validators import DataRequired 


class UserForm(FlaskForm) : 
email = f£.StringField('email', validators=[DataRequired()]) 
firstname = f£.StringField('firstname') 
lastname = f£.StringField('lastname') 
password = f.PasswordField('password') 
age = f.IntegerField('age') 
weight = f£.FloatField('weight') 
max hr = f.IntegerField('max_hr') 
rest_hr = f.IntegerField('rest_hr') 


vo2max = f.FloatField('vo2max') 


display = ['email', 'firstname', 'lastname', 'password', 


‘age', 'weight', 'max_hr', 'rest_hr', 'vo2max'] 


代码 中 的 display 只 是 一 个 助手 属性 。 它 是 一 个 包含 表单 字段 的 有 序列 表 ， 模 板 
在 泻 染 表单 时 , 会 遍历 其 内 容 。 此 外 , 代码 使 用 WTForms 中 基本 的 描述 字段 类 为 User 
数据 库 表 创建 表单 。 关 于 WTForms 的 字段 的 完整 文档 见 http://wtforms.readthedocs.io/ 
en/latest/fields.html 。 

一 旦 创建 完毕 , 即 可 在 视图 中 使 用 UserForm 达到 两 个 目的 : 第 一 个 是 在 GET 请 
求 中 显示 表单 ， 第 二 个 是 当 用 户 提交 表单 时 ， 在 POST 请 求 中 修改 数据 库 中 的 相应 
内 容 。 


@app.route (' /create_user ", methods=['GET', 'POST']) 
def create_user(): 
form = UserForm() 
if request.method == 'POST!: 
if form.validate_on_submit () : 


new_user = User() 
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form.populate_obj (new user) 
db.session.add(new_user) 
db.session.commit () 

return redirect ('/users') 


return render template('create_user.html', form=form) 


UserForm 类 包含 一 个 用 来 校 验 POST 请 求 中 的 数据 的 方法 ， 以 及 一 个 把 这 些 值 


序列 化 成 User 对 象 的 方法 。 如 果 请 求 中 的 一 些 数据 无 效 ， 表 单 的 实例 会 将 错误 保存 
在 field.errors 列表 中 ， 以 便 接 下 来 在 模板 中 向 用 户 显示 这 些 错误 。 


create_userhtml 模板 遍历 模板 的 字段 列表 , WTForm 负责 将 其 泻 染 成 合适 的 HIML 


标签 : 
<html> 
<body> 
<form action="" method="POST"> 
{{ form.hidden_tag() }} 
<dl> 
{% for field in form.display %} 
<dt>{{ form[field].label }}</dt> 
<dd>{{ form[field]() }}</dd> 
{% if form[field].errors %} 
{% for e in form[field].errors %} <p>{{ e }}</p> {% endfor %} 
{% endif %} 
{% endfor %} 
</dl> 
<p> 
<input type=submit value="Publish"> 
</form> 
</body> 
</html> 


form.hidden tag0 方 法 会 泻 染 所 有 的 隐藏 字段 ， 包 括 CSRF 令 牌 。 
一 旦 表单 能 正常 工作 ， 就 可 以 很 容易 地 在 应 用 的 所 有 表单 中 复 用 这 个 模式 。 
在 Runnerly 中 ， 对 于 添加 训练 记录 和 竞赛 的 功能 ， 我 们 需要 复制 这 个 模式 来 生成 


表单 。 模 板 中 的 表单 部 分 是 通用 的 ， 因 此 可 在 所 有 表单 中 复 用 ， 并 可 使 用 Jinja 中 的 宏 
来 蔡 换 。 大 部 分 工作 将 是 对 每 个 SQLAlchemy 模型 编写 对 应 的 form 类 。 


有 一 个 名 为 wtforms_alchemy(https://wtforms-alchemy.readthedocs.io/) 的 项 目 ， 使 用 


它 可 基于 SQLAlchemy 模 型 自动 生成 表单 代码 。 相 对 于 与 之 前 手动 创建 的 UserForm， 


利 月 


Hwtforms alchemy 来 创建 同样 的 类 会 简单 得 多 ， 因 为 唯一 的 步骤 是 将 其 指向 
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SQLAlchemy 模 型 ; 
from wtforms alchemy import ModelForm 
class UserForm (ModelForm) : 


class Meta: 


model = User 


但 在 实战 中 ， 通 常会 逐渐 调整 表单 ， 一 直到 便于 显 式 地 编写 为 止 。 


wtforms_alchemy 开始 ， 来 看 看 表单 如 何 逐 步 演进 也 是 一 个 解决 方案 。 
总 结 一 下 迄今 为 止 为 了 构建 应 用 都 做 了 什么 : 
e 使 用 SQLAlchemy 创建 了 数据 库 模型 (模型 )。 
e 创建 了 视图 和 表单 ， 通 过 模型 与 数据 库 交互 (视图 和 模板 )。 
在 构建 完整 的 单 体 方案 前 ， 还 有 两 件 事情 : 
e 后 台 任务 : 用 来 定期 检索 Strava 的 跑步 活动 ， 以 及 生成 月 度 报告 。 
。 身份 验证 和 授权 : 让 用 户 登 录 ， 并 限制 其 只 能 修改 自己 的 信息 。 


423 后台 任务 


不 过 从 


可 通过 轮 询 Strava， 定 期 (如 每 隔 一 小 时 ) 执 行 代码 ， 从 Strava 获取 所 有 跑步 活动 
并 添加 到 Runnerly 数据 库 。 月 度 报告 也 可 在 每 个 月 生成 汇总 信息 ， 然 后 通过 电子 邮件 
发 送 给 用 户 。 这 两 个 功能 都 是 Flask 应 用 的 一 部 分 ， 用 SQLAIchemy 模型 来 完成 。 

但 与 其 他 用 户 请 求 不 同 ， 它 们 是 后 台 任 务 ， 需 要 在 HTTP 请 求 和 响应 循环 周期 之 


外 独立 运行 。 


如 果 不 使 用 简单 的 cron 任务 ， 一 个 在 Python Web 应 用 中 运行 重复 性 后 台 任 务 的 
流行 方案 是 使 用 CeleryChttp:/docs.celeryprojectore)。 它 是 一 个 在 独立 进程 中 执行 其 些 


工作 的 分 布 式 任务 队列 。 


为 此 ， 一 个 名 为 消息 代理 的 中 介 负 责 在 应 用 和 Celery 之 间 来 回 传递 消息 。 例 如 ， 
如 果 应 用 想 让 Celery 运 行 某 些 任务 ， 就 会 在 消息 代理 中 添加 一 个 消息 。Celery 会 轮 询 这 


个 消息 代理 ， 并 完成 任务 。 


消息 代理 可 以 是 任何 存储 消息 并 提供 检索 消息 的 服务 。Celery 项 目 外 


直接 与 


Redis(http://redis.io) ~ RabbitMQ(http://;www.rabbitmq.com) ~ Amazon SQS(https://aws. 
amazon.com/sqs/) 一 起 使 用 。 它 还 为 Python 应 用 提供 了 一 层 抽象 ， 以 便 应 用 能 正常 地 发 


送 消 息 和 执行 任务 。 


执行 任务 的 部 分 被 称 为 职 程 (worker)，Celery 提 供 了 Celery 类 来 启动 它 。 在 Flask 


应 用 中 , 可 创建 一 个 background.py 模 块 来 实例 化 一 个 Celery 对 象 , 然后 使 用 @celerytask 
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装饰 器 来 标记 后 台 任 务 。 
下 例 使 用 stravalib(http://pythonhosted.org/stravalib), 为 Runnerly 中 每 个 拥有 Strava 
令 牌 的 用 户 从 Strava 中 抓 取 跑步 活动 : 


from celery import Celery 
from stravalib import Client 


from monolith.database import db, User, Run 


BACKEND = BROKER = 'redis://localhost:6379' 
celery = Celery( name , backend=BACKEND, broker=BROKER) 
_APP = None 


def activity2run(user, activity): 
""""Used by fetch_runs to convert a strava run into a DB entry. 
"nn 
run = Run () 
run.runner = user 
run.strava_id = activity.id 
run.name = activity.name 
run.distance = activity.distance 
run.elapsed_time = activity.elapsed_time.total_seconds () 
run.average_speed = activity.average_speed 
run.average_heartrate = activity.average_heartrate 
run.total_elevation_gain = activity.total_elevation gain 
run.start_date = activity.start_date 


return run 


@celery.task 
def fetch all runs(): 
global _APP 
# lazy init 
if _APP is None: 
from monolith.app import app 
db.init_app (app) 
_APP = app 
else: 


app = _APP 


runs_fetched = {} 
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with app.app_ context (): 
q = db.session.query (User) 
for user in q: 
if user.strava_token is None: 
continue 


runs_fetched[user.id] = fetch_runs (user) 


return runs_fetched 


def fetch_runs (user): 
client = Client (access_token=user.strava_token) 
runs = 0 


for activity in client.get_activities (limit=10) : 


if activity.type != 'Run': 
continue 
q = db. session.query (Run) . filter (Run.strava_id == activity.id) 


run = q.first() 
if run is None: 
db.session.add(activity2run (activity) 


runs += 1 


db.session. commit () 


return runs 


在 该 例 中 ， 后 台 任务 会 查找 每 个 有 Strava 令 牌 的 用 户 ， 将 其 最 近 10 次 跑步 活动 导 
入 Runnerly。 

这 个 模块 是 一 个 能 从 Redis 代理 接收 任务 并 完成 全 部 工作 的 Celery 应 用 。 假 定 在 
当前 机 器 上 已 经 运行 了 一 个 Redis 实例 ， 当 使 用 pip-install 命令 安装 了 Celery 和 Redis 
的 两 个 Python 包 后 ， 就 可 以 用 celery -A background worker 命令 来 运行 这 个 模块 。 

这 个 命令 会 启动 一 个 Celery 职 程 服务 器 ， 将 fetch_all runs0 函 数 注册 为 一 个 可 调用 
的 任务 ， 并 监听 进入 Redis 的 消息 。 

然后 ， 在 Flask 应 用 中 ， 可 导入 同样 的 background.py 模块 ， 然 后 直接 调用 被 装饰 
的 函数 。 此 时 得 到 一 个 类 似 future 的 对 象 , 它 将 通过 Redis 来 调用 独立 进程 中 的 Celery 
职 程 来 运行 这 个 函数 。 


from flask import Flask, jsonify 


app = Flask( name ) 
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@app.route ('/fetch') 


def fetch_runs(): 
from monolith.background import fetch_all runs 
res = fetch_all runs.delay() 
res.wait () 


return jsonify(res.result) 


上 例会 等 待 任务 完成 , 同时 对 /fetch 的 调用 也 会 等 待 任务 完成 后 才 会 继续 执行 。 当 
然 ， 在 Runnerly 中 ， 我 们 想 用 “发 射 后 不 管 ”(fire-and-forget) 的 方式 来 执行 任务 ， 而 
且 不 会 调用 .wait0 方 法 ， 因 为 那样 在 每 个 用 户 上 都 会 花费 数秒 的 时 间 。 

在 某 种 意义 上 ， 由 于 Celery 服务 是 由 Flask 应 用 通过 Redis 传递 消息 来 调用 的 ， 
因此 可 直接 认为 它 是 一 个 微服 务 。 部 署 也 很 有 趣 ， 因 为 可 将 Redis 服务 器 和 Celery 应 
部 署 在 其 他 服务 器 上 。 但 由 于 执行 后 台 任 务 的 代码 与 应 用 的 其 他 代码 在 同一 个 代码 
库 中 ， 因 此 这 仍 是 一 个 单 体 设 计 。 
运行 后 台 职 程 要 考虑 的 另 一 个 问题 是 ， 有 些 任 务 需 要 被 周期 性 地 执行 。 此 时 可 使 
J Celery 的 定期 任务 (Periodic Task， 见 http://docs.celeryproject.org/en/latest/userguide/ 
periodic-tasks.html) 特 性 来 充当 调度 程序 ， 而 不 是 让 Flask 应 用 每 小 时 触发 一 次 任务 。 

这 种 情况 下 , Flask 应 用 会 采用 与 触发 单个 任务 相同 的 方式 , 来 调度 这 些 定期 任务 。 


Ss 


1. Strava 令 牌 


在 解决 导入 Strava 内 容 的 难题 前 ， 还 有 一 个 缺失 的 部 分 ， 那 是 为 每 个 用 户 获 取 
Strava 令 牌 ， 并 将 其 存储 在 数据 库 的 用 户 表 中 。 

这 可 通过 OAuth2 dance 来 完成 。 在 这 个 流程 中 ， 用 户 会 被 重 定向 到 Strava 为 
Runnerly 授 权 ; 然后 又 被 重 定 向 到 Runnerly, 并 带 上 OAuth2 code. 此 后 可 将 这 个 code 转 
换 成 可 保存 的 令 牌 。 

Stravalib 库 提供 了 一 些 助 手 程序 来 帮助 完成 这 个 dance. 首先 是 authorization_url() 
方法 , 它 会 返回 一 个 完整 的 URL。 将 这 个 URL 呈现 给 用 户 , 即 可 开始 OAuth? dance. 


app.config['STRAVA_CLIENT_ID'] = 'runnerly-strava-id' 
app.config['STRAVA_CLIENT_SECRET'] = 'runnerly-strava-secret' 


def get_strava_auth_url(): 
client = Client () 
client_id = app.config['STRAVA_CLIENT_ID'] 
redirect = 'http://127.0.0.1:5000/strava_auth' 
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url = client.authorization_url(client_id=client_id, 
redirect_uri=redirect) 


return url 


这 个 例子 中 ，redirect 变量 是 应 用 获取 权限 后 Strava 重 定向 的 URL。 这 个 例子 中 ， 
是 运行 在 本 地 应 用 中 的 地 址 。get strava auth url0 方 法 生成 了 返回 给 Runnerly 用 户 
oie 
且 用 户 在 Strava 网 站 中 为 Runnerly 授权 ，/strava-auth 视图 就 会 andl 个 code. 
然后 用 它 来 交换 一 个 令 牌 。 这 个 令 牌 会 一 直 有 效 ， 可 用 来 代表 用 户 ， 给 Strava 发 送 请 
求 。Strava 库 的 Client 类 有 一 个 exchange code for token0 方 法 来 完成 这 个 交换 行为 。 
视图 只 将 令 牌 保存 到 数据 库 的 用 户 记 录 中 。 


@app. route ('/strava_auth') 

@login_required 

def _strava_auth(): 
code = request.args.get ('code') 
client = Client () 
xc = client.exchange_code_for_token 
access _token = xc(client_id=app.config['STRAVA_CLIENT_ID'], 
client_secret=app.config['STRAVA_CLIENT_SECRET'], code=code) 
current_user.strava_token = access_token 
db.session.add(current_user) 
db.session.commit () 


return redirect ('/') 


在 这 个 视图 中 ，@login required 和 current_user 是 身份 验证 和 授权 的 一 部 分 ， 见 下 
一 节 的 介绍 。 


4.24 身份 验证 和 授权 


我 们 的 单 体 应 用 已 经 接近 完成 了 。 

最 后 需要 添加 的 功能 是 : 给 用 户 提供 身份 验证 方式 。Runnerly 需要 知道 当前 要 连 
接 的 用 户 ， 因 为 仪表 盘 会 显示 特定 用 户 的 数据 。 表 单 也 需要 安全 保障 。 例 如 ， 不 能 
户 编辑 其 他 用 户 的 信息 。 

针对 目前 的 单 体 方案 ， 将 实现 一 个 简单 的 基本 身份 验证 (https://en.wikipedia.org/ 

wiki/Basic_access_authentication) 模 式 。 使 用 这 个 模式 ， 用 户 通 过 Authorization 请 求 头 
来 发 送 凭证 信息 。 从 安全 角度 看 ， 只 要 服务 器 使 用 SSL， 那 么 使 用 基本 身份 验证 是 没 
问题 的 。 当 通过 SSL 访问 网 站 ， 整 个 请 求 会 都 会 被 加 密 (包括 URL 中 都 查询 字符 串 )， 


mn 


第 4 章 设计 Runnerly 


Es 


此 传输 是 安全 的 。 

就 密码 而 言 ， 最 简单 的 保护 形式 是 确保 不 在 数据 库 以 明文 形式 存储 密码 ， 而 将 其 
保存 在 一 个 不 可 逆 的 哈 希 字符 串 中 。 如 果 服 务 器 受到 安全 威胁 ， 那 么 这 个 方式 能 将 汇 
露 密码 的 风险 降 至 最 低 。 对 于 身份 验证 过 程 ， 只 需要 在 用 户 登录 时 ， 对 传 入 的 密码 进 
行 哈 希 处 理 ， 然 后 与 保存 在 数据 库 中 的 字符 串 做 比较 。 


传输 层 通常 不 是 应 用 安全 性 的 弱点 。 服 务 收 到 请 求 后 会 发 生 什 么 才 重 要 。 在 
身份 验证 过 程 中 有 一 个 时 间 窗 口 ， 攻 击 者 会 拦截 密码 (明文 或 哈 希 后 的 形式 )。 
第 7 章 将 讨论 减少 这 种 攻击 面 的 方法 。 
wetkzeug 提 供 了 一 些 助 手 方法 对 密码 做 哈 希 ， 其 中 generate password hashO0 和 
check password hash(O 可 集成 到 User 类 中 。 
默认 情况 下 ，werkzeug {Ë H PBKDF2(https://en.wikipedia.org/wiki/PBKDF2) 和 
SHA-1 算法 完成 哈 希 ， 它 使 用 盐 值 来 哈 希 一 个 值 ， 这 是 一 种 比较 安全 的 方式 。 
下 面 通过 添加 设置 和 验证 密码 来 扩展 User 类 : 


from werkzeug.security import generate password hash, 
check password hash 
class User (db.Model): 
__tablename_ = 'user' 
# ... all the Columns ... 


def init (self, *args, **kw): 
super (User, self). init (*args, **kw) 


self. authenticated = False 


def set_password(self, password) : 


self.password = generate password hash (password) 


@property 
def is authenticated (self): 


return self. authenticated 


def authenticate(self, password): 
checked = check_password_hash(self.password, password) 
self. authenticated = checked 


return self. authenticated 
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在 数据 库 中 创建 新 用 户 时 ， 可 使 用 User 模型 上 的 set password( 方 法 来 哈 希 和 存 
储 密码 。 验 证 密码 时 ， 可 使 用 authenticate0 方 法 来 比较 哈 希 值 。 

有 了 这 个 机 制 后 ，Flask-Login(https://flask-login.readthedocs.io/) 扩 展 提供 了 登录 、 
退出 和 跟踪 已 连接 的 用 户 所 需 的 一 切 ， 然 后 就 可 以 修改 应 用 的 工作 方式 。 

Flask-Login 提 供 两 个 函数 ， 用 于 在 当前 的 session 中 设置 用 户 : login_user0 和 
logout user0。 调 用 login user0 方 法 时 ， 会 在 session 中 保存 用 户 ID， 并 在 客户 端 设 置 一 
个 cookie。 应 用 会 记 住 这 个 用 户 ， 并 可 在 用 户 的 下 次 请 求 中 使 用 ， 直 到 用 户 退出 。 

为 使 用 这 个 机 制 ， 需 要 在 应 用 启动 时 创建 一 个 LoginManager 实例 。 

下 面 的 代码 登录 和 退出 视图 ， 并 创建 LoginManager: 


from flask_login import LoginManager, login_user, logout_user 


@app.route('/login', methods=['GET', 'POST']) 
def login(): 
form = LoginForm() 
if form.validate_on_submit (): 
email, password = form.data['email'], form.data['password"] 
q = db.session.query (User) . filter (User.email == email) 
user = q.first() 
if user is not None and user.authenticate (password) : 
login_user (user) 
return redirect ('/"') 


return render _template('login.html', form=form) 


@app . route ("/logout") 
def logout () : 
logout_user () 


return redirect ('/') 


login_manager = LoginManager () 


login_manager.init_app (app) 


@login_manager.user_loader 
def load user (user_id): 
user = User.query.get (user_id) 
if user is not None: 
user. authenticated = True 


return user 
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当 EFlask-Login 需 要 将 已 经 存储 的 用 户 卫 转换 成 用 户 实例 时 ， 就 会 使 用 被 
@login manageruser loader 装 饰 的 方法 。 

身份 验证 工作 会 在 login 视 图 中 通过 调用 userauthenticate0 来 完成 ， 然 后 调用 
login_user(user) 来 修改 session 中 的 身份 验证 信息 。 

最 后 一 件 事情 是 保护 一 些 视图 以 防 未 授权 的 访问 。 例 如 ， 未 登录 时 ， 是 不 能 访问 
用 户 编辑 表单 的 。 使 用 @login required 装饰 的 视图 后 ， 会 拒绝 任何 来 自 未 登录 用 户 的 
访问 ， 并 返回 401 Unauthorized 错误 。 

@login required 需要 放 在 @app.route0 调 用 之 后 : 


@app.route('/create_user', methods=['GET', 'POST']) 
@login_required 
def create_user(): 

# ... code 


上 面 的 代码 中 ，@login_required 会 确保 当前 用 户 是 有 效 的 ， 并 已 通过 身份 验证 。 

然而 ， 这 个 装饰 器 并 不 会 处 理 访问 的 权限 。 权 限 处 理 不 在 Flask-Login 项 目 范畴 内 ， 
但 可 在 Flask-Login 上 用 其 他 扩展 加 以 处 理 (如 Flask-Principal，https://pythonhosted. 
org/Flask-Principal/)。 

不 过 , 以 上 方式 对 Runnerly 的 场景 来 说 有 点 小 题 大 作 。Runnerly 用 户 中 的 一 个 特 
定 角 色 是 管理 员 。 管理 员 拥有 访问 应 用 的 超级 权限 , 而 普通 用 户 只 能 访问 自身 的 信息 。 

在 User 模型 上 添加 is_admin 的 布尔 标识 后 ， 即 可 创建 与 @login_required 类 似 的 
装饰 器 来 检查 这 个 标记 。 


def admin required(func): 
@functools.wraps (func) 
def _admin_required(*args, **kw) : 
admin = current_user.is_authenticated and current_user.is_admin 
if not admin: 
return app.login_manager.unauthorized () 
return func(*args, **kw) 


return _admin_required 
同样 ， 通 过 查看 Flask-Login 在 应 用 上 下 文 设置 的 current user 变量 ， 可 执行 更 精 


细 的 权限 验证 。 例 如 ， 可 使 用 此 方法 允许 用 户 更 改 自己 的 数据 ， 但 防止 其 修改 其 他 用 
户 的 数据 。 
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425 单 体 设计 汇总 


现在 的 单 体 设 计 还 不 错 ， 也 符合 第 一 个 开发 迭代 的 目标 。 如 第 3 章 所 述 ， 应 该 使 


TDD 来 构建 一 切 。 


用 SQLite3 作为 数据 库 。 


这 是 构建 在 关系 型 数据 库 上 的 一 个 简单 而 整洁 的 实现 ， 可 与 PostgreSQL 或 
MySQL 服务 器 一 起 部 署 。 多 亏 了 SQLAlchemy 抽象 ， 在 日 常 的 开发 和 测试 中 ， 可 使 


为 构建 这 个 应 用 ， 已 经 使 用 了 下 面 的 扩展 和 库 : 
e flask_sqlalchemy #1 SQLAIchemy: 用 来 实现 模型 。 
e Flask-WTF 和 WTForms: 用 来 实现 表单 。 


e Celery 和 Redis: 用 来 实现 后 台 处 理 和 


周期 性 任务 。 


e Flask-Login: 用 来 管理 身份 验证 和 授权 。 


图 4-1 展示 了 整体 设计 。 


一 个 典型 的 部 署 方案 是 ， 将 Flask 应 用 、Redis 服务 器 和 Celery 实例 组 合 在 一 起 ， 


部 署 在 同一 个 服务 器 上 ， 并 通过 Web 服务 器 ( 例 


如 Apache 或 nginx) 来 处 理 请 求 。 数 据 


库 可 部 署 在 同一 台 机 器 ， 或 者 一 个 专属 服务 器 上 。 
服务 器 可 生成 多 个 Flask 进程 和 Celery 进程 ， 以 处 理 更 多 请 求 和 支持 更 多 用 户 。 


图 4-1 整体 设计 


当 上 面 的 部 署 方案 满足 不 了 服务 器 负载 时 , 首先 要 考虑 的 是 添加 更 多 应 用 服务 器 ， 


并 为 数据 库 和 Redis 代理 添加 专属 服务 器 。 
如 有 必要 ， 可 进入 第 三 步 ， 添 加 更 多 Redis 


和 PostgreSQL 实例 。 此 时 需要 在 选择 


最 佳 方式 上 多 加 思考 ， 因 为 可 能 需要 创建 数据 库 的 复制 集 或 使 用 分 片 策 略 。 
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进入 第 三 步 时 ， 使 用 一 些 开 箱 即 用 的 方案 可 能 更 适合 ， 如 Amazon SQS 和 
Amazon RDS。 第 11 章 将 讨论 这 个 话题 。 


43 ” 拆 分 单 体 


假定 Runnerly 还 在 使 用 先前 的 实现 , 但 已 拥有 大 量 用 户 。 期 间 添加 了 新 功能 ， 修 
复 了 漏洞 ， 并 且 数 据 库 也 在 稳定 增长 。 

第 一 个 要 面 对 的 问题 是 发 送 报告 和 访问 Strava 的 后 台 进程 。 由 于 已 有 数 千 个 用 户 ， 
这 些 任务 占用 了 大 部 分 服务 器 资源 ， 导 致 前 端 用 户 感觉 网 站 变 慢 了 。 

显然 ， 需 要 把 这 些 后 台 任 务 转移 到 独立 的 服务 器 上 来 运行 。 对 于 使 用 Celery 和 
Redis 的 单 体 应 用 来 说 ， 这 不 是 问题 ， 添 加 新 的 服务 器 用 于 后 台 任 务 即 可 。 

但 如 果 这 样 做 ， 最 令 人 担忧 的 是 Celery 职 程 需要 导入 Flask 应 用 的 代码 来 运行 。 
所 以 在 部 署 后 台 职 程 时 ， 同 时 部 署 了 整个 Flask 应 用 。 这 也 意味 着 ， 每 次 修改 应 用 ， 
都 需要 更 新 Celery 职 程 ， 以 免 修 复 过 的 错误 再 次 出 现 。 

这 同样 意味 着 ， 我 们 不 得 不 在 这 个 仅 用 来 从 Strava 提取 数据 的 服务 器 上 ， 安 装 
Flask 应 用 所 有 的 依赖 。 假 如 在 模板 中 使 用 了 Bootstrap, IAE Celery 职 程 服务 
器 上 部 署 它 ! 

依赖 会 引起 另 一 个 问题 :“ 为 什么 Celery 职 程 起 初 需要 包含 在 Flask 应 用 中 ? ”在 
早期 编写 Runnerly 时 ， 这 个 设计 非常 优秀 ， 但 很 显然 ， 逐 渐变 得 脆弱 起 来 。 

Celery 与 应 用 的 交互 非常 明确 。Strava 职 程 需要 : 

o 获取 Strava 令 牌 

e 添加 新 的 跑步 活动 

与 使 用 Flask 应 用 的 代码 的 做 法 相反 ，Celery 职 程 可 完全 与 之 独立 ， 并 直接 与 数 
据 库 交互 。 

让 Celery 职 程 扮演 一 个 独立 微服 务 是 拆 分 单 体 应 用 的 非常 重要 的 第 一 步 一 我们 
称 之 为 Strava 服务 。 负 责 构建 报告 的 职 程 ， 可 按 独 立 运行 的 方式 拆 分 ， 将 其 称 为 报告 
服务 。 这 样 ， 每 个 Celery 进程 能 专注 于 单一 类 型 的 任务 。 

完成 上 面 的 拆 分 工作 时 ， 最 大 的 设计 问题 是 : 这 些微 服务 是 直接 访问 数据 库 ， 还 
是 通过 一 个 充当 服务 与 数据 库 的 中 介 的 HITPAPI 来 调用 ? 

直接 访问 数据 库 的 方式 看 起 来 最 简单 ， 但 也 引入 了 其 他 问题 。 由 于 最 初 的 Flask 
应 用 、Strava 服务 和 报告 服务 会 共享 一 个 数据 库 ， 因 此 数据 库 中 的 任何 修改 都 会 影响 
KF. 
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如 果 有 一 个 中 介 层 ， 它 给 不 同 的 服务 公开 了 它们 所 需 的 信息 ， 就 会 减少 数据 库 依 
赖 问题 。 如 果 设 计 得 当 ， 可 在 修改 数据 库 模式 时 ， 保 持 HTTP API 契约 的 兼容 性 。 

Strava 和 报告 服务 都 是 Celery 职 程 ， 所 以 不 需要 对 其 设计 任何 HTTP API。 它 们 
从 Redis 代理 获取 任务 ， 然 后 使 用 封装 了 数据 库 调用 的 服务 与 其 交互 。 我 们 称 这 个 媒 
介 为 数据 服务 (Data Service). 


44 数据 服务 


图 4.2 描述 了 更 新 后 的 应 用 的 组 织 形式 。 报 告 和 Strava 服务 从 Redis 中 获取 任务 ， 
并 与 数据 服务 交互 。 


Redis 代理 


图 4-2 更 新 后 的 应 用 的 组 织 形式 


数据 服务 是 一 个 封装 了 数据 库 操作 的 HTTP API。 数 据 库 包含 所 有 用 户 和 跑步 数 
据 。 仪 表盘 是 前 端 应 用 ， 实 现 了 HTML 用 户 界面 。 

如 果 你 不 确定 是 否 应 当 从 主 应 用 中 拆 分 出 一 个 新 的 微服 务 ， 就 不 要 拆 分 它 。 

可 通过 Redis 代理 来 传递 Celery 职 程 需要 的 一 些 信息 ， 例 如 Strava 服务 所 需 的 
Strava 令 牌 。 

然后 ， 对 于 报告 服务 ， 通 过 Redis 来 发 送 所 有 信息 并 不 实际 ， 因 为 所 涉及 的 数据 
量 非常 大 。 如果 一 个 跑步 者 每 个 月 跑 30 次 , 那么 更 简单 的 做 法 是 让 报告 服务 直接 从 数 
据 服 务 拉 取 数 据 。 

数据 服务 的 视图 需要 实现 以 下 API: 

© 对 于 Strava 服务 一 一 一 个 POST API 用 来 添加 跑步 活动 。 
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© 对 于 报告 服务 ， 需 要 : 
。 一 个 GET API 来 获取 用 户 D 的 列表 。 
。 一 个 GET API 来 根据 给 定 ID 和 月 份 获取 跑步 活动 列表 。 
如 你 所 见 ,，HTTP API 非常 小 一 -我们 期 望 尽量 减 少 公 开 的 入 口 数量 。 尽管 跑步 活 
动 的 结构 会 在 多 个 服务 之 间 共 享 ， 但 我 们 还 是 需要 尽 可 能 减少 公开 的 字段 数量 。 
我 们 将 采用 Open API 2.0 标准 来 实现 服务 。 


4.5 使 用 Open API2.0 


Open API 2.0 规范 一 一 也 称 为 Swagger(https://www.openapis.org/) 一 一 是 采用 ISON 
Al YAML 格式 的 简单 描述 语言 , 它 列 出 所 有 HTTPAPI 端点 及 其 用 法 ， 以 及 传 入 和 返 
回 的 数据 结构 。 它 假定 服务 器 发 送 和 接收 JSON 文档 。 

Swagger 与 XML Web 服 务 时 代 里 的 WSDL(https://en.wikipedia.org/wikiWeb_Services_ 
Description Language) 的 目标 相同 ， 但 轻 量 更 轻 ， 更 直观 。 

下 面 是 一 个 Open API 描述 文件 的 最 简短 示例 , 它 定 义 了 唯一 的 /apiusers_ids 的 入 
口 ， 并 支持 使 用 GET 方法 来 获取 用 户 ID 列表 : 


swagger: "2.0" 
info: 
title: Runnerly Data Service 
description: returns info about Runnerly 
license: 
name: APLv2 
url: https://www.apache.org/licenses/LICENSE-2.0.htm1 
version: 0.1.0 
basePath: /api 
paths: 
/user_ids: 
get: 
operationId: getUserIds 
description: Returns a list of ids 
produces: 
- application/json 
responses: 
F200" 


description: List of Ids 
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schema: 
type: array 
items: 


type: integer 


完整 的 Open API2.0 规范 见 http://swaggerio/specification/。 它 非常 详细 , 介绍 了 如 
何 描述 API 的 元 信息 、 端 点 和 使 用 的 数据 类 型 。 

schema 部 分 描述 的 数据 类 型 遵循 JSON 模 式 规范 (http://json-schema.org/latest/ 
json-schema-core.html)。 上 例 定义 了 /get_ids 端 点 返回 一 个 整数 列表 。 

可 在 规格 说 明 中 提供 API 的 许多 细节 一 一 例如 请 求 中 应 该 包含 的 请 求 头 ， 某 些 响 
应 中 的 content-type 等 。 

使 用 Swagger 描述 HTTP 入 口 点 ， 能 提供 一 些 潜在 好 处 : 

e 许多 Open API 2.0 客户 端 能 使 用 API 的 描述 信息 并 完成 一 些 有 用 的 工作 。 例 

如 为 服务 构建 功能 测试 ， 或 验证 发 给 服务 的 数据 。 

o 它 提供 一 个 与 语言 无 关 的 标准 API 文档 。 

o 服务 器 能 根据 规格 说 明 来 检查 请 求 和 响应 。 

一 些 Web 框架 甚至 使 用 Swagger 规格 说 明 给 微服 务 创建 所 有 的 路 由 和 了 O 数据 检 
查 。 例 如 ，Connexion(https://github.com/zalando/connexion) 就 为 Flask 提供 了 这 些 功 能 。 

当 人 们 使 用 Swagger 构建 HTTPAPI 时 ， 有 两 种 思想 流派 : 

o 规格 说 明 先 行 (specification-first): 先 创建 Swagger 规格 说 明文 件 ， 然 后 在 此 基 

础 上 使 用 规范 中 的 信息 来 创建 应 用 。 这 是 Connexion 背后 的 原则 。 

o 提取 规格 说 明 (specification-extracted): 使 用 代码 来 生成 Swagger 规格 说 明文 件 。 

例如 ， 一 些 工具 会 通过 读 取 视 图 的 文档 字符 串 (docstring) 来 生成 它 。 

第 一 个 方法 的 最 大 好 处 是 : 由 于 Swagger 规格 说 明 驱 动 了 应 用 的 开发 ， 因 此 一 定 
能 及 时 更 新 。 第 二 个 方法 也 有 价值 ， 例 如 ， 在 遗留 项 目 中 引入 Swagger 时 就 很 有 用 。 

如 果 通 过 第 一 个 方法 来 实现 Flask 应 用 , Connexion 等 框架 会 在 较 高 层次 上 提供 一 
些 极 好 的 助手 程序 。 只 需要 传递 规格 说 明文 件 、 函 数 ，Connexion 就 能 生成 一 个 Flask 
应 用 。Connexion 使 用 operationld 字段 来 解析 函数 与 操作 的 对 应 关系 。 

使 用 这 个 方式 时 需要 注意 ，Swagger 文件 包含 实现 细节 (指向 Python 函数 的 完整 
路 径 )， 对 于 一 个 语言 无 关 的 规格 说 明 来 说 ， 有 一 定 的 侵入 性 。 还 有 一 个 自动 解析 器 ， 
会 根据 每 个 操作 的 路 径 和 方法 ， 来 查找 Python 函数 。 这 样 ，GET/api/users ids 的 实现 
就 需要 位 于 apiusers ids.get0 中 。 

flakon( 见 第 2 章 ) 给 出 另 一 种 方法 。 这 个 项 目 有 个 特殊 的 Blueprint 一 一 
SwaggerBlueprint， 它 不 需要 在 规格 中 添加 Python 函 数 ， 也 不 会 猜测 操作 对 应 的 函数 的 
位 置 。 
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这 个 自 定义 的 Blueprint 使 用 了 Swagger 规格 文件 ， 并 提供 一 个 与 @apiroute 类 似 


的 @api.operation 装饰 器 。 这 个 装饰 器 使 用 operationld 名 称 (而 不 是 路 由 ) 作 为 参数 ， 因 


此 Blueprint 可 显 式 地 将 视图 和 正确 路 由 连接 起 来 。 
下 例 创 建 一 个 SwaggerBlueprint， 并 实现 getUserlds 操作 : 


from flakon import SwaggerBlueprint 


api = SwaggerBlueprint ('swagger', spec='api.yml') 


@api .operation ( 


"getUserlIds') 


def get_user_ids(): 


# .. do the 


work .. 


重 命名 这 段 Python 的 实现 代码 或 移动 它 的 位 置 后 , 并 不 需要 修改 Swagger 的 规格 


说 明 。 


除了 上 面 提 到 的 实现 ， 数 据 服务 API 的 剩余 部 分 可 参见 Runnerly 仓 库 (https:/github. 


com/Runnerly). 


46 ”进一步 拆 分 


到 目前 为 止 ， 我 们 已 将 后 台 任 务 的 相关 部 分 从 单 体 应 用 中 拆 分 出 来 ， 并 为 新 的 微 
服务 添加 了 若干 个 HITPAPI 视图 ， 以 便 与 主 应 用 交互 。 

由 于 新 的 API 允许 添加 跑步 活动 ， 因 此 还 有 一 个 可 拆 分 的 部 分 一 一 训练 功能 。 

只 要 能 生成 新 的 跑步 活动 ， 这 个 功能 就 可 独立 运行 。 当 用 户 想 开始 一 个 新 的 训练 


计划 ， 主 应 用 就 可 与 训 
作为 另 一 个 选择 ， 

个 API， 这 个 API 返回 

的 活动 那样 。 主 Flask 


赖 任何 Runnerly 用 户 的 情况 下 工作 一 一 它 被 要 求 根据 给 定 参数 来 生成 一 个 训练 计划 。 
但 是 , 要 以 这 个 方式 进行 拆 分 , 应 当 有 合适 的 理由 。 例如 : 训练 算法 的 代码 是 CPU 


练 服务 交互 ， 让 其 生成 新 的 跑步 活动 。 
为 更 好 地 隔离 数据 ， 这 个 方式 也 可 保留 下 来 : 训练 服务 发 布 一 
跑步 活动 的 列表 并 使 用 特定 的 数据 结构 ， 正 如 Strava API 返回 
应 用 能 将 它们 转换 成 Runnerly 的 跑步 活动 。 训 练 计划 可 在 不 依 


密集 型 吗 ? 它 将 来 会 成 为 一 个 完整 的 专家 系统 ， 被 其 他 应 用 使 用 吗 ? 训练 功能 将 来 需 


要 其 他 数据 来 运行 吗 ? 


0H 每 次 折 分 新 的 微服 务 时 ， 都 有 创建 出 腑 肿 应 用 的 风险 。 
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同样 ， 竞 赛 功 能 也 可 能 在 某 个 时 间 点 成 为 一 个 独立 的 微服 务 ， 因 为 竞赛 列表 可 与 
Runnerly 数据 完全 独立 。 

图 4-3 展示 了 Runnerly 的 最 终 设计 , 包含 四 个 微服 务 和 主 应 用 。 在 第 11 章 , 我 们 
将 看 到 如 何 抛弃 主 应 用 ， 使 数据 服务 变 成 一 个 完整 微服 务 ， 并 构建 一 个 JavaScript 应 
用 来 集成 一 切 。 


本 2 Redis 代理 
as 
用 户 数据 表 | a 

Flask 应 用 数据 服务 


训练 计划 


图 4-3 Runnerly 的 最 终 设 计 


47 ”本 章 小 结 


Runnerly 应 用 是 一 个 典型 的 Web 应 用 ， 它 与 数据 库 和 后 端 服务 交互 。 最 初 几 个 迭 
代 将 其 构建 成 一 个 单 体 应 用 。 

本 章 演示 了 如 何 将 单 体 逐 渐 拆 分 成 微服 务 ， 以 及 Celery 等 工具 在 其 中 如 何 发 挥 作 
用 。 每 一 个 能 被 拆 分 成 独立 Celery 任务 的 后 台 进 程 都 是 潜在 的 微服 务 。 
我 们 也 讨论 了 Swagger， 它 是 一 个 帮助 定义 微服 务 之 间 的 API 的 良好 工具 。 
拆 分 进程 应 该 是 保守 和 渐进 的 ， 因 为 稍 不 留意 ， 构 建 和 维护 微服 务 的 代价 就 会 超 
如 果 你 喜欢 软件 架构 ， 这 个 应 用 的 最 后 一 个 版 本 非常 吸引 人 。 它 提供 了 用 于 部 署 
和 扩展 Runnerly 的 许多 选项 。 
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然而 ， 单 一 应 用 已 变 成 需要 交互 的 多 个 应 用 。 图 4-3 的 每 个 链 路 都 可 能 是 应 用 的 
弱点 。 例 如 ， 万 一 Redis 宕 机 怎么 办 ? 或 者 ， 在 处 理 过 程 中 ， 如 果 数据 服务 和 Strava 
服务 之 间 的 网 络 隔离 ， 该 怎么 办 ? 

加 入 架构 中 的 每 条 网 络 链 路 都 存在 同样 的 问题 。 出 问题 时 ， 需 要 能 快速 恢复 。 当 
修复 一 个 宕 机 的 服务 时 ， 我 们 需要 知道 问题 出 在 哪里 ， 以 及 如 何 解决 问题 。 

以 上 问题 都 将 在 第 5 章 中 讨论 。 
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第 与 章 
与 其 他 服务 交互 


在 上 一 章 中 ， 将 单 体 应 用 Runnerly 拆 分 成 多 个 微服 务 ， 因 此 增加 了 不 同 部 分 之 间 
的 网 络 交互 。 

当 用 户 浏览 主页 面 视图 时 ， 应 用 需要 从 数据 库 和 竞赛 服务 中 提取 跑步 和 竞赛 的 列 
表 。 由 于 希望 能 立即 显示 结果 ， 被 请 求 触发 的 网 络 调用 应 当 是 同步 的 。 

另 一 方面 ，Celery 职 程 正在 后 台 完成 职责 ， 通 过 Redis 代理 异步 地 接受 命令 。 

某 些 情况 下 ， 混 合同 步 和 异步 调用 也 很 有 用 。 例 如 ， 当 用 户 选择 一 个 新 的 训练 计 
划 时 ， 会 显示 有 关 该 训练 计划 的 一 些 信息 ， 同 时 在 后 台 触 发 并 创建 一 系列 新 的 跑步 
活动 。 

在 Runnerly 的 未 来 版 本 中 ， 可 能 有 更 多 的 服务 间 交 互 ， 一 个 服务 的 事件 会 触发 其 
他 服务 的 一 系列 反应 。 通 过 异步 消息 对 系统 的 不 同 部 分 进行 松 耦 合 处 理 ， 这 种 方式 可 
有 效 阻止 服务 间 相 互 依赖 。 
任何 情况 下 ， 最 底线 的 要 求 是 通过 网 络 与 其 他 服务 进行 同步 或 异步 交互 。 这 些 交 
互 应 当 是 高 效 的 ， 还 要 有 应 对 计划 来 处 理 错 误 。 

添加 了 更 多 网 络 连接 时 ， 产 生 的 另 一 个 问题 是 测试 ， 当 需要 其 他 微服 务 时 ， 如 何 
在 一 个 独立 的 微服 务 中 进行 测试 ? 

本 章 将 介绍 : 

e 一 个 服务 如 何以 同步 方式 调用 另 一 个 服务 ， 并 让 调用 尽 可 能 高 效 。 

e 一 个 服务 如 何 发 起 异步 调用 ， 如 何 通过 事件 与 其 他 服务 通信 。 

o 对 于 有 网 络 依赖 的 服务 ， 一 些 用 来 测试 它们 的 技术 。 
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5.1 同步 调用 


前 面 介绍 过 ,微服 务 间 的 同步 交互 通过 RESTful HTTP API 来 完成 , API 使 用 JSON 
格式 。 

这 是 目前 最 常见 的 范式 ， 因 为 HITP 和 JSON 是 黄金 标准 。 如 果 Web 服务 实现 了 
接收 JSON 的 HITPAPI， 那 么 任意 编程 语言 的 开发 者 都 能 方便 地 使 用 它 。 

另 一 方面 ， 遵 循 RESTful 的 结构 并 不 是 一 个 要 求 ， 而 是 一 种 有 倾向 的 解释 。 关 于 
] POST 与 PUT 响应 的 优 缺 点 ， 互 联网 上 有 无 数 博客 帖子 在 争论 这 个 问题 。 

一 些 项 目 在 HTTP 上 实现 了 RPC(Remote Procedure Call， 远 程 过 程 调用 )API， 这 
种 方式 不 同 于 REST API。 在 RPC 方法 中 ， 重 点 是 行为 ， 行 为 是 端点 URL 的 一 部 分 。 
在 REST 方法 中 ， 重 点 是 资源 ， 行 为 通过 HTTP 方法 进行 定义 。 

有 些 项 目 将 两 者 混合 使 用 ， 并 未 严格 遵循 一 个 标准 。 不 过 最 重要 的 是 ， 服 务 的 行 
为 应 该 是 一 致 的 ， 并 有 良好 的 文档 。 


使 


one 


本 书 主要 依赖 REST 方式 而 非 RPC 方式 , 但 也 不 是 特别 严格 ; 另外 ,在 PUT 
和 了 POST 的 争论 上 也 没有 强烈 倾向 。 


当 微 服务 与 其 他 服务 进行 交互 时 ， 发 送 和 接受 ISON 是 最 简单 方式 ， 只 需要 微服 
务 知道 发 送 HITP 请 求 的 入 口 点 和 需要 传递 的 参数 即 可 。 

为 此 ， 只 需要 使 用 一 个 HITP 客 户 端 。Python 有 一 个 内 置 的 http.client 模 块 ， 但 
requests 库 (https:/docs.python-requests.org) 有 更 好 用 的 API， 而 且 提供 的 内 置 功能 会 让 你 
的 工作 更 轻松 。 

requests 库 中 的 HTTP 请 求 是 围绕 Session 概念 构建 的 , 使 用 它 的 最 佳 方式 是 创建 
一 个 Session 对 象 ， 当 每 次 与 其 他 服务 交互 时 会 重用 Session 对 象 。 

除 其 他 事项 外 ，Session 对 象 中 还 可 保存 身份 验证 信息 以 及 一 些 默 认 的 请 求 头 信 
息 ， 这 些 头 信息 是 应 用 生成 的 所 有 请 求 都 需要 的 。 在 下 例 中 ，Session 对 象 将 自动 创建 
正确 的 Authorization 和 Content-Type 头 信息 : 


from requests import Session 


s = Session () 
s-headers['Content-Type'] = 'application/json' 


s.auth = 'tarek', "password' 


# doing some calls, auth and headers are all set! 


s.get ("http://localhost:5000/api") .json() 
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s.get ("http://localhost:5000/api2"') .json() 


在 一 个 与 其 他 服务 交互 的 Flask 应 用 中 ， 看 一 下 如 何 让 这 个 模式 更 通用 。 


5.1.1 在 Flask 应 用 中 使 用 Session 


Flask 的 Application 对 象 有 一 个 extensions 映射 关系 , 这 个 映射 关系 用 来 存储 实用 
工具 ， 例 如 连接 器 。 在 这 个 案例 中 ， 要 用 它 存储 Session 对 象 。 可 创建 一 个 函数 ， 用 
来 在 app.extensions 映射 中 初始 化 一 个 占 位 符 ， 然 后 添加 一 个 Session 对 象 : 


from requests import Session 


def setup_connector(app, name='default', **options): 
if not hasattr(app, 'extensions'): 


app.extensions = {} 


if 'connectors' not in app.extensions: 
app.extensions['connectors'] = {} 


session = Session () 


if 'auth' in options: 
session.auth = options['auth"] 

headers = options.get('headers', {}) 

if 'Content-Type' not in headers: 
headers['Content-Type'] = 'application/json' 


session.headers.update (headers) 


app.extensions['connectors'] [name] = session 


return session 


def get_connector (app, name='default'): 


return app.extensions['connectors"] [name] 


在 本 例 中 ，setup_connector0 函 数 将 创建 一 个 Session 对 象 ， 然 后 将 它 存放 在 应 用 
的 扩展 映射 中 。 创 建 的 Session 默认 将 Content-Type 头 信息 设置 成 applicatiom/json， 这 
样 就 适合 给 基于 ISON 格式 的 微服 务 发 送 数据 了 。 

一 旦 设置 完成 ， 即 可 通过 get_connector0 函 数 在 视图 中 使 用 Session。 在 下 例 中 ， 
Flask 应 用 (运行 在 5001 端口 ) 将 同步 地 调用 微服 务 (运行 在 5000 端口 ) 来 提供 服务 内 容 : 
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from flask import Flask, jsonify 


app = Flask( name ) 


setup_connector (app) 


@app.route('/api', methods=['GET', 'POST']) 
def my_microservice(): 
with get_connector(app) as conn: 
sub_result = conn.get ("http://localhost:5000/api") .json() 
return jsonify({'result': sub result, 'Hello': 'World!'}) 


if name == '_main_': 


app. run (port=5001) 
对 一 个 服务 的 调用 将 传播 给 其 他 服务 : 


$ curl http://127.0.0.1:5001/api 


{ 
"Hello": "World!", 
"result": { 
"Hello": "World!", 
"result": "OK" 
} 
} 


这 种 简单 实现 假设 所 有 调用 都 很 顺畅 。 但 如 果 被 调用 的 微服 务 发 生 延 迟 或 等 30 
秒 后 才 返 回 ， 会 发 生 什么 ? 
默认 情况 下 ， 响 应 就 绪 前 ， 将 无 限期 挂 起 请 求 ， 当 调用 微服 务 时 ， 这 并 不 是 期 望 
的 行为 。 这 种 情况 下 ，timeout 选项 非常 有 用 。 如 果 在 创建 请 求 时 使 用 它 ， 当 远程 服务 
器 未 能 及 时 回答 时 ， 它 会 抛 出 一 个 ReadTimeout。 
在 下 例 中 ， 如 果 请 求 挂 起 的 时 间 超 过 2 秒 ， 将 放弃 调用 : 


a 


from requests.exceptions import ReadTimeout 


@app.route('/api', methods=['GET', 'POST']) 
def my_microservice(): 
with get_connector(app) as conn: 
try: 
result = 


conn.get ("http://localhost :5000/api', timeout=2.0) .json() 
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except ReadTimeout: 
result = {} 


return jsonify({'result': result, 'Hello': 'World!"}) 


当然 ， 当 超时 发 生 时 ， 要 做 什么 取决 于 服务 逻辑 。 这 个 例子 不 加 提示 地 忽略 了 这 
个 问题 ， 然 后 返回 一 个 空 结果 。 也 许 在 其 他 场景 下 ， 需 要 抛 出 错误 。 无 论 哪 种 情况 ， 
如 果 要 构建 服务 之 间 的 强 链接 ， 就 必须 处 理 超时 。 

另 一 个 可 能 发 生 错误 的 场景 是 : 连接 完全 断 开 ， 或 远程 服务 器 根本 无 法 访问 。 请 
求 会 进行 多 次 尝试 ， 最 终 抛 出 ConnectionError， 需 要 捕捉 这 个 错误 并 进行 处 理 : 


from requests.exceptions import ReadTimeout, ConnectionError 


@app.route('/api', methods=['GET', 'POST']) 
def my_microservice(): 
with get_connector(app) as conn: 
try: 
result = conn.get ('http://localhost:5000/api', 
timeout=2.) .json() 
except (ReadTimeout, ConnectionError) : 
result = {} 


return jsonify({'result': result, 'Hello': 'World!'}) 


始终 使 用 超时 参数 是 一 个 良好 实践 ， 一 个 更 好 的 方式 是 在 Session 中 将 超时 设置 
成 默认 参数 ， 这 样 就 不 需要 单独 给 每 个 请 求 设置 超时 参数 了 。 

AME, requests 库 提供 了 一 种 设置 自 定义 传输 适配器 的 方法 , 对 于 给 定 主 机 ,可 在 
传输 适配器 中 定义 Session 将 调用 的 行为 。 可 用 来 创建 一 个 通用 的 超时 ， 但 仍 要 提供 
retries 参数 ， 确 定 当 服务 器 没有 响应 时 ， 会 完成 多 少 次 重 试 请 求 。 

回 到 setup_connector0 函 数 。 通 过 使 用 适配器 , 就 可 在 所 有 请 求 中 默认 添加 timeout 
和 retries 参数 : 


from requests.adapters import HTTPAdapter 


class HTTPTimeoutAdapter (HTTPAdapter) : 
def init (self, *args, **kw): 
self.timeout = kw.pop('timeout', 30.) 


super(). init (*args, **kw) 


def send(self, request, **kw): 
timeout = kw.get('timeout') 
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if timeout is None: 
kw['timeout'] = self.timeout 


return super()-.send(request, **kw) 


def setup_connector (app, name='default', **options): 
if not hasattr(app, 'extensions'): 


app.extensions = {} 


if 'connectors' not in app.extensions: 
app.extensions['connectors'] = {} 


session = Session () 


if 'auth' in options: 


session.auth = options['auth"] 


headers = options.get('headers', {}) 
if 'Content-Type' not in headers: 
headers['Content-Type'] = 'application/json' 


session.headers.update (headers) 


retries = options.get('retries', 3) 

timeout = options.get('timeout', 30) 

adapter = HTTPTimeoutAdapter (max_retries=retries, timeout=timeout) 
session.mount ("http://', adapter) 


app.extensions['connectors'] [name] = session 


return session 


每 次 向 HITP 服务 发 出 一 个 请 求 时 , session.mount(host, adapter) 函 数 将 告诉 请 求 使 
用 HTTPTimeoutAdapter。 这 种 情况 下 ， 在 session 上 挂 载 的 键 为 “http:/” 的 主机 会 成 
为 一 个 包罗 万 象 的 容器 。 

对 于 mount0 函 数 ， 美 妙 之 处 在 于 session 的 行为 可 根据 每 个 服务 上 的 应 用 逻辑 进 
行 调整 。 例 如 ， 当 需要 设置 一 些 自 定义 的 超时 和 重 试 次 数 时 ， 可 在 适配器 上 为 特定 主 
机 加 载 另 一 个 实例 : 


adapter2 = HTTPTimeoutAdapter (max_retries=1, timeout=1.) 


session.mount ('http://myspecial.service', adapter2) 


幸亏 有 了 这 个 模式 ， 单 请 求 的 Session 对 象 能 在 应 用 中 实例 化 ， 然 后 通过 它 与 其 
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他 HTTP 服务 进行 交互 。 
51.2 连接 池 


Requests 库 底层 使 用 urllib3 库 ， 将 为 每 个 目标 主机 创建 一 个 连接 池 ， 当 代码 请 求 
主机 时 ， 会 复 用 连接 池 中 的 连接 器 。 

换 句 话说 , 如 果 你 的 服务 调用 其 他 多 个 服务 , 不 必 担 心 这 些 服务 连接 的 回收 工作 ; 
requests 库 负 责 处 理 回 收 。 

Flask 是 一 个 同步 框架 ， 如 果 用 单一 线程 运行 时 (这 是 默认 行为 )，requests 库 的 连 
接 池 并 没有 太 多 帮助 ， 因 为 各 个 调用 一 个 接 一 个 地 执行 。Requests 库 只 针对 每 个 远程 
主机 保持 一 个 连接 。 

但 车 用 多 线程 运行 Flask 应 用 ， 并 有 很 多 并 发 连接 ， 连 接 池 可 有 效 地 控制 对 其 他 
服务 的 连接 数量 。 你 肯定 不 期 望 应 用 打开 无 限 的 同步 连接 去 访问 某 个 服务 ， 这 极 易 导 
致 灾难 。 

HTTPTimeoutAdapter 类 可 用 来 控制 连接 池 的 增长 。 这 个 类 继承 自 HITPAdapter， 
而 HITPAdapter 封装 了 urllib3 连接 池 的 参数 。 

在 构造 函数 中 ， 可 传递 下 列 参数 : 

e pool connection: 确定 可 同时 打开 多 少 个 连接 。 

e pool maxsize: 确定 连接 池 的 最 大 连接 数量 。 

。 max retries: 确定 每 个 连接 的 最 大 重 试 次 数 。 

e pool block: “pool maxsize 到 达 上 限时 , 确定 是 否 阻塞 连接 。 如 果 设 置 为 False， 

即便 连接 池 满 了 ， 也 会 创建 一 个 新 连接 ， 但 不 会 添加 到 连接 池 中 。 如 果 设 置 
为 True， 连 接 池 满 后 将 不 会 创建 新 连接 。 对 于 最 大 化 一 个 主机 的 连接 数量 ， 这 
个 参数 非常 有 用 。 

例如 ， 如 果 应 用 在 一 个 允许 多 线程 的 Web 服务 器 上 ， 适 配器 能 持 有 25 个 并 发 

连接 : 


adapter = HTTPTimeoutAdapter (max_retries=retries, 


timeout=timeout, pool _connections=25) 


提高 服务 性 能 的 好 方法 是 支持 多 线程 ， 但 多 线程 也 伴随 很 多 显著 风险 。 通 过 自身 
的 本 地 线程 机 制 ，Flask 确 保 每 个 线程 都 能 获取 flask.g( 全 局 的 )、flaskrequest 或 
flask.response 版 本 ， 所 以 不 需要 处 理 线程 安全 问题 ， 但 视图 被 多 个 线程 并 发 访问 时 ， 
需要 注意 视图 上 会 发 生 什 么 。 

如 果 不 共 享 flask.g 以 外 的 任何 状态 ， 而 只 是 调用 Request 会 话 ， 这 种 方法 也 是 可 
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行 的。 请 求 的 会 话 不 是 线程 安全 的 ， 所 以 每 个 线程 需要 单独 一 个 会 话 。 
对 共享 的 状态 做 任何 改变 时 ， 若 未 使 用 合适 的 锁 机 制 来 避免 锁 竞争 问题 ， 那 就 麻 
烦 了 。 当 视图 太 复 杂 而 无 法 确保 线程 安全 时 ， 最 安全 的 方式 是 运行 单线 程 并 引发 多 个 
进程 。 这 时 ， 每 个 进程 都 会 执行 一 个 Request 会 话 ; 这 个 会 话 存在 到 外 部 服务 的 单一 
连接 ， 并 对 调用 进行 序列 化 处 理 。 

序列 化 是 同步 框架 的 限制 因素 ， 它 迫使 我 们 采用 引发 更 多 进程 的 方式 进行 部 署 ， 
这 种 方式 占用 的 内 存 更 多 ， 或 需要 使 用 诸如 Gevent 的 隐 式 异步 工具 进行 序列 化 。 
不 论 哪 种 情况 ， 只 要 单线 程 应 用 能 迅速 响应 ， 将 能 大 幅 缓解 这 个 限制 。 
有 一 个 方法 能 提高 应 用 调用 其 他 服务 的 速度 : 确保 使 用 HITP 缓存 头 。 


5.1.3 HTTP 缓存 头 


在 HTTP 协议 中 ， 有 几 种 缓存 机 制 都 可 告知 客户 端 ， 它 试图 访问 的 页 面 从 上 次 访 
问 以 来 没有 任何 更 改 。 在 我 们 的 微服 务 中 , 可 在 所 有 只 读 API 端点 如 GET H HEAD) 
上 进行 缓存 。 

最 简单 的 实现 方法 是 在 响应 中 返回 一 个 ETag 头 。ETag 的 值 是 一 个 字符 串 ， 可 将 
其 视 为 客户 端 试图 获取 资源 的 版 本 信息 。 它 可 以 是 一 个 时 间 戳 、 一 个 增 量 的 版 本 号 或 
一 个 哈 希 串 。 由 服务 器 决定 其 中 的 内 容 。 但 原则 上 它 在 响应 值 中 应 该 是 唯一 的 。 

与 Web 浏览 器 一 样 ， 当 客户 端 重 取 包含 此 类 头 信息 的 响应 时 ， 客 户 端 会 构建 一 个 
本 地 字典 进行 缓存 ， 响 应 内 容 和 ETags 值 作为 value，URL 作为 key。 

当 发 起 一 个 新 请 求 时 , 客户 端 可 查找 字典 ,然后 在 请 求 的 头 信息 L-Modified-Since 
中 传递 一 个 ETag 值 。 如 果 服 务 器 返回 304 响应 ， 意 味 着 响应 没有 发 生 改变 ， 客 户 端 
可 使 用 之 前 存储 在 本 地 字典 的 信息 。 

这 种 机 制 极 大 地 缩短 了 服务 器 的 响应 时 间 。 当 内 容 没有 改变 时 ， 可 立刻 返 
空 的 304 响应 。 由 于 304 响应 没有 内 容 ， 所 以 网 络 传输 的 数据 量 也 很 小 。 

有 一 个 配合 Request 会 话 使 用 的 项 目 叫 做 CacheControl(http://cachecontrol. 
readthedocs.io)， 它 透明 地 实现 了 缓存 功能 。 

对 于 前 面 的 例子 ， 只 需要 将 HTTPTimeoutAdapter 的 父 类 从 request. adapters. 
HTTPAdapter 替换 成 cachecontrol.CacheControlAdapter 就 可 以 激活 缓存 了 。 

当然 ， 这 意味 着 调用 的 服务 应 该 通过 添加 合适 的 ETag 来 实现 缓存 行为 。 

由 于 缓存 逻辑 取决 于 数据 的 性 质 ， 而 数据 是 由 服务 管理 的 ， 因 此 缓存 问题 并 没有 
通用 的 解决 方案 。 
规则 是 给 每 个 资源 标记 版 本 信息 ， 并 在 数据 改变 时 修改 它 。 下 例 中 ，Flask 应 用 使 
用 当前 服务 器 时 间 来 创建 ETag 值 ， 并 与 用 户 实体 进行 关联 。ETag 值 是 自 纪元 以 来 经 
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历 的 时 间 ( 以 毫秒 为 单位 )， 存 储 在 修改 后 的 字段 中 。 

get_user0 方 法 从 _USERS 字典 返回 用 户 实体 ,然后 通过 resp.set_etag 设置 ETag 值 。 
当 视 图 收 到 调用 时 ， 会 查找 IENone-Match 头 信息 ， 然 后 与 一 个 标记 用 户 是 否 修改 的 
字段 进行 比较 ， 如 果 相 同 ， 则 返回 304 响应 : 


import time 


from flask import Flask, jsonify, request, Response, abort 
app = Flask( name ) 


def time2etag (stamp=None): 
if stamp is None: 
stamp = time.time() 
return str(int(stamp * 1000)) 


_USERS = {'1': {'name': 'Tarek', 'modified': _time2etag()}} 


@app. route ('/api/user/<user_id>', methods=['POST'] 
def change_user (user_id): 

user = request.json 

# setting a new timestamp 

user['modified'] = _time2etag() 

_USERS [user id] = user 

resp = jsonify (user) 

resp.set etag (user['modified']) 


return resp 


@app. route ('/api/user/<user_id>') 
def get_user(user_id): 
if user_id not in _USERS: 
return abort (404) 
user = _USERS[user_id] 


# returning 304 if If-None-Match matches 
if user['modified'] in request.if none match: 


return Response (status=304) 


resp = jsonify (user) 
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i£ name == '_ main 


# setting the ETag 
resp.set_etag(user['modified"]) 


return resp 


app. run () 


当 客 户 端 针对 一 个 用 户 执行 POST 操作 时 ，change_user0 视 图 会 设置 一 个 新 的 修 
改 标识 。 在 接 下 来 的 客户 端 会 话 中 ， 将 执行 用 户 更 改 ， 并 确保 提供 新 的 ETag 值 时 会 


得 到 304 响应 : 
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$ curl http://127.0.0.1:5000/api/user/1 
{ 
"modified": "1486894514360", 


"name": "Tarek" 


$ curl -H "Content-Type: application/json" -X POST -d 
'{"name":"Tarek","age":40}' http://127.0.0.1:5000/api/user/1 
{ 


"age": 40, 
"modified": "1486894532705", 
"name": "Tarek" 


$ curl http://127.0.0.1:5000/api/user/1 
{ 


"age": 40, 
"modified": "1486894532705", 
"name": "Tarek" 


$ curl -v -H 'If-None-Match: 1486894532705' 
http: //127.0.0.1:5000/api/user/1 
< HTTP/1.0 304 NOT MODIFIED 


这 里 只 是 展示 一 个 示例 实现 ， 可 能 无 法 正常 运行 ， 因 为 这 里 依靠 服务 器 时 钟 来 存 


储 ETag 值 ， 当 有 多 个 服务 器 时 ， 要 确保 时 钟 不 会 被 改 回去 ， 可 使 用 诸如 ntpdate 的 服 
务 来 保证 服务 器 时 钟 总 是 同步 的 。 
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如 果 两 个 请 求 在 同一 毫秒 内 更 改 同一 实体 ， 则 会 导致 锁 竞 争 问题 。 基 于 不 同 的 应 

用 ， 这 要 么 不 是 一 个 问题 ， 要 么 就 是 大 问题 。 一 个 干净 的 方案 是 让 数据 库 系 统 直接 处 
理 修改 后 的 字段 ， 然 后 确保 修改 是 通过 序列 化 的 事务 完成 的 。 
一 些 开发 者 使 用 哈 希 函数 作为 ETag 值 ， 这 是 因为 在 分 布 式 架构 中 很 容易 计算 ， 
且 不 会 产生 任何 时 间 戳 问题 。 但 计算 哈 希 是 有 时 间 成 本 的 ， 需 要 将 整个 实体 的 信息 推 
送 给 服务 器 计算 ， 这 可 能 导致 返回 真实 数据 很 慢 。 但 若 在 数据 库 中 有 专门 的 表 来 管理 
哈 希 ， 这 将 是 一 个 快速 返回 304 响应 的 解决 方案 。 

前 面 提 到 ， 并 没有 实现 高 效 HTTP 缓存 逻辑 的 通用 解决 方案 ， 但 如 果 客户 端 会 大 
量 发 起 读 请 求 ， 是 值得 使 用 缓存 的 。 

当 必 须 返 回 一 些 数据 时 ， 有 多 种 提高 效率 的 方法 ， 下 一 节 将 进行 介绍 。 


5.1.4 ”改进 数据 传输 


虽然 JSON 相当 元 长 ， 但 当 需 要 与 数据 进行 交互 时 ， 宛 长 是 有 意义 的 。 所 有 内 容 
都 是 清晰 的 明文 且 易 于 阅读 ， 就 像 普 通 Python 字典 和 列表 一 样 。 

但 从 长 远 看 ， 使 用 ISON 格式 发 送 HTTP 请 求 和 响应 会 增加 一 些 带 宽 开 销 。 从 
Python 对 象 到 JSON 结构 数据 的 序列 化 和 反 序 列 化 也 会 增加 CPU 开销 。 

通过 压缩 或 转换 成 二 进 制 格式 ， 可 减少 传输 数据 的 大 小 ， 并 加 快 处 理 速度 。 


1. GZIP 压缩 


要 减少 占用 的 带宽 ， 最 简单 的 方法 是 使 用 GZIP 压缩 ， 这 样 传输 的 数据 总 量 会 变 
小 。 诸 如 Apache EÈ nginx 的 Web 服务 器 原生 地 支持 在 传输 时 压缩 响应 ， 这 很 好 地 避 
Ha T HE Python 级 别 执行 临时 压缩 。 

例如 ， 对 于 通过 Flask 应 用 在 5000 端口 上 产生 的 响应 ， 下 面 代码 示例 中 的 nginx 
配置 可 对 类 型 是 application/json 的 任何 响应 进行 压缩 : 


http { 
gzip on; 
gzip types application/json; 
gzip proxied any; 


gzip vary on; 


server { 
listen 80; 
server name localhost; 


location / { 
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proxy_pass http://localhost:5000; 


} 

从 客户 端 ， 制 作 一 个 包含 Accept-Encoding: gzip 头 信息 的 HTTP 请 求 ， 把 请 求 发 
送 给 位 于 localhost:8080 的 nginx 服务 器 , 服务 器 代理 位 于 localhost:5000 的 应 用 , 将 触 
发 压缩 请 求 。 

$ curl http://localhost:8080/api -H "Accept-Encoding: gzip" 

<some binary output> 

在 Python 中 ，request 库 的 response 自动 解压 gzip 编码 格式 的 响应 ， 所 以 当 你 的 
服务 调用 其 他 服务 时 ,不 需要 担心 这 个 问题 .解压 数据 会 增加 一 些 CPU 计算 ,但 Python 
中 的 gzip 模块 依赖 的 是 zlib, zlib 的 解压 缩 速度 很 快 (也 非常 出 色 )。 


>>> import requests 

>>> requests.get('http://localhost:8080/api', headers= 
{'Accept-Encoding' : 

'gzip'}) .json() 

{'Hello': 'World!', u'result': 'OK'} 


要 压缩 发 送 给 服务 器 的 数据 ， 可 使 用 gzip 模块 并 指定 一 个 Content-Encoding 5k: 


>>> import gzip, json, requests 

>>> data = {'Hello': 'World!', 'result': 'OK'} 

>>> data = bytes (json.dumps (data), 'utf8') 

>>> data = gzip.compress (data) 

>>> headers = {'Content-Encoding': 'gzip'} 

>>> requests .post ('http://localhost:8080/api', 
headers=headers, 

ore data=data) 

<Response [200]> 


然而 ， 这 种 情况 下 ， 将 在 Flask 应 用 中 获得 压缩 的 内 容 ， 除 非 在 nginx 中 使 用 Lua 
实现 了 解压 缩 处 理 ， 否 则 需要 在 Python 代码 中 解压 。 另 一 种 方法 是 使 用 mode_deflate 
模块 及 其 SetmputFilter 配置 项 在 Apache 服务 器 上 进行 解压 。 
小 结 一 下 ， 使 用 Apache Fil nginx 可 很 容易 地 设置 GZIP 压缩 ; 通过 设置 正确 的 头 
信息 , Python 客户 端 也 能 从 中 获 益 。 如果 不 使 用 Apache 处 理 GZIP 压缩 , 则 有 点 麻烦 ， 
要 在 Python 代码 中 或 其 他 地 方 实现 对 传 入 数据 的 解压 。 
要 进一步 减 小 HITP 请 求 /响应 负载 包 的 大 小 , 相对 于 用 GZIP 压缩 的 ISON 负载 
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包 ， 另 一 个 选项 是 转换 成 二 进 制 负载 包 。 这 样 做 的 好 处 是 不 需要 解压 数据 ， 并 能 提高 
速度 。 但 总 体 来 看 ， 这 种 压缩 的 效果 并 不 理想 。 


2. 二 进 制 格式 


如 果 微 服务 需要 处 理 大 量 数据 ， 使 用 替代 格式 是 一 个 有 吸引 力 的 方案 ， 这 种 方式 
不 需要 依赖 GZIP 即 可 提高 性 能 并 减少 网 络 带 宽 ， 不 过 使 用 蔡 代 方案 并 非 总 与 提高 性 
能 相关 。 

有 两 种 广泛 使 用 的 二 进 制 格 式 工具 : Protocol Buffers(protobuf)4ll MessagePack。 

Protocol BuffersChttps:/developers.google.comy/protocol-buffers) 要 求解 释 转 换 成 基 种 
模式 的 数据 ， 该 模式 将 用 来 为 二 进 制 内 容 编写 索引 。 

由 于 所 有 要 转换 的 数据 都 按 一 种 模式 来 描述 ， 并 需要 学 习 一 个 新 的 领域 特定 语言 
(Domain Specific Language)， 因 此 会 增加 一 些 工 作 量 。 

下 例 来 自 protobuf 文档 : 


package tutorial; 


message Person { 
required string name = 1; 
required int32 id = 2; 


optional string email = 3; 


enum PhoneType { 


MOBILE = 0; 
HOME = 1; 
WORK = 2; 


} 


message PhoneNumber { 

required string number = 1; 

optional PhoneType type = 2 [default = HOME]; 
} 


repeated PhoneNumber phones = 4; 
} 


message AddressBook { 
repeated Person people = 1; 


i 
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这 并 不 像 Python 模式 的 数据 ,更 像 是 数据 库 模式 。 虽 然 描述 被 转移 的 数据 是 一 种 


良好 实践 ， 但 在 微服 务 中 ， 如 果 已 经 有 了 Swagger 定义 ， 这 种 模式 可 能 有 点 多 余 。 


JMessagePack(http://msgpack.org/) 是 另 一 种 无 模式 的 二 进 制 工具 ， 只 需要 通过 调 
一 个 函数 就 能 轻松 实现 压缩 和 解压 。 


用 


这 是 一 个 简单 的 JSON 蔡 代 方式 ， 大 部 分 语言 中 都 有 实现 。msgpack Python 库 ( 通 


过 pip install msgpack-python 命令 安装 ) 提 供 了 与 ISON 类 似 的 集成 。 


>>> import msgpack 

>>> data = {"this": "is", "some": "data", 1: 2} 
>>> msgpack .dumps (data) 
b'x83x01x02xa4thisxa2isxa4somexa4data' 

>>> msgpack. loads (msgpack . dumps (data) ) 

{1: 2, b'this': b'is', b'some': b'data'} 


注意 ， 数 据 序列 化 后 ， 字 符 串 被 转换 为 二 进 制 ， 然 后 要 用 默认 序列 器 进行 反 


序列 化 。 当 需要 保持 原始 类 型 时 ， 这 是 需要 留意 的 问题 。 


很 明显 ，MessagePack 比 protobuf 更 简单 。 但 哪 一 个 压缩 更 快 ， 并 能 提供 最 佳 
压缩 比率 则 取决 于 数据 。 少 数 情况 下 ， 普 通 JSON 可 能 比 二 进 制 能 更 快速 地 序列 化 


的 


o 


在 压缩 方面 ， 预 计 MessagePack 能 达到 10%~20% 的 压缩 比例 , 但 若 ISON 里 包含 


很 多 字符 串 ( 这 种 情况 在 微服 务 中 很 常见 )，GZIP 是 更 好 的 选择 。 


在 下 例 中 ， 一 个 87KB 的 庞大 ISON 中 包含 很 多 字符 串 ， 它 将 用 MessagePack 方 


式 进 行 转换 ， 然 后 用 GZIP 对 转换 前 和 转换 后 的 数据 进行 压缩 : 


>>> import json, msgpack 
>>> with open('data.json') as f: 
data = f.read() 


>>> python_data = json. loads (data) 

>>> len(json.dumps (python_data) ) 

88983 

>>> len (msgpack .dumps (python_data) ) 

60874 

>>> len(gzip.compress (bytes (json.dumps(data), 'utf8&'))) 
5925 

>>> len(gzip.compress (msgpack . dumps (data) ) ) 

5892 
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使 用 MessagePack 减 少 了 负载 量 ， 但 通过 粉碎 方式 ，GZIP 能 做 到 比 JSON 和 
MessagePack 格 式 小 15 倍 。 

很 明显 ， 不 论 使 用 哪 种 格式 ， 如 果 Web 服务 器 不 处 理解 压缩 问题 ， 使 用 GZIP 将 
是 减少 负载 量 大 小 的 最 佳 方式 在 Python 中 使 用 gzip.uncompress0 来 解压 缩 非常 容易 。 

至 此 , 对 于 使 用 MessagePack 还 是 JSON 问题 上 , 二 进 制 格式 通常 更 快 , 对 Python 
也 更 友好 。 例 如 ， 如 果 传 递 的 Python 字典 带 有 整数 key, ISON 会 将 整数 转换 成 字符 
ii, {El MessagePack 会 转换 成 正确 格式 : 


>>> import msgpack, json 

>>> json.loads (json.dumps({1: 2})) 

hE: QF 

>>> msgpack. loads (msgpack.dumps({1: 2})) 
{is 2} 


在 


期 格式 上 ， 两 个 方法 都 存在 问题 : 在 JSON 和 MessagePack 中 ，DateTime 对 


象 并 不 能 直接 序列 化 ， 需 要 通过 代码 来 转换 。 
无 论 如 何 ， 在 微服 务 世 界 里 ，JSON 是 最 广泛 接受 的 标准 ， 而 坚持 使 用 大 众 标准 
的 一 个 小 烦恼 是 : 只 能 使 用 字符 串 key， 需 要 对 日 期 类 型 进行 额外 处 理 。 


在 Python 中 , 除非 所 有 服务 都 具有 优良 的 结构 , 且 能 让 序列 化 步骤 尽快 执行 ， 
否则 坚持 使 用 JSON 可 能 更 简单 。 


快速 回顾 一 下 本 节 中 关于 同步 调用 的 内 容 : 


Requests 库 可 作为 HTTP 客户 端 调用 其 他 服务 。 它 提供 了 处 理 超时 和 错误 的 
功能 ， 还 有 一 个 连接 池 。 

调用 其 他 服务 时 ， 使 用 多 线程 可 提高 微服 务 的 性 能 ， 这 是 因为 Flask 是 一 个 同 
步 框架 。 但 使 用 多 线程 存在 危险 。 可 使 用 诸如 Gevent 的 解决 方案 。 

SKIL HTTP 缓存 头 是 提高 重复 数据 请 求 速度 的 好 方法 。 

GZIP 压缩 是 一 种 减少 请 求 和 响应 数据 大 小 的 有 效 方法 ， 且 易于 设置 。 

二 进 制 协议 是 一 个 有 吸引 力 的 ISON 蔡 代 方案 ， 但 可 能 并 不 好 用 。 


下 一 节 将 介绍 异步 调用 。 
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5.2 异步 调用 


在 微服 务 架 构 中 ， 当 原来 单个 应 用 中 执行 的 进程 现在 变 成 多 个 微服 务 时 ， 异 步调 
用 是 很 重要 的 基础 角色 。 
使 用 异步 调用 可 像 微 服务 内 部 的 单线 程 或 单 进程 那样 简单 , 会 在 不 干涉 HITP 请 
求 -响应 过 程 的 情况 下 ， 完 成 一 些 工 作 。 
但 从 同一 个 Python 进程 直接 做 任何 事情 都 不 十 分 可 靠 。 如 果 进 程 崩 溃 或 重启 将 发 
生 什 么 ? 如 果 这 样 构建 微服 务 又 如 何 扩展 后 台 任务 呢 ? 

更 可 靠 的 方法 是 发 送 一 个 消息 然后 由 另 一 个 程序 接收 并 处 理 ， 这 样 可 让 微服 务 聚 
焦 在 它 的 目标 上 : 给 客户 端 提供 响应 服务 。 

第 4 章 介绍 了 如 何 使 用 Celery 构建 一 个 微服 务 ， 它 能 与 诸如 Redis 或 RabbitMQ 
的 消息 代理 进行 协作 。 在 那个 设计 中 ， 在 一 个 新 消息 加 入 Redis 队列 前 ，Celery 职 程 
会 阻塞 队列 。 

还 有 一 种 方法 可 在 服务 间 交 换 消 息 ， 而 且 职 程 不 会 阻塞 队列 。 


5.2.1 任务 队列 


Celery 职 程 使 用 的 这 个 模式 是 push-pull 队列 ， 服 务 将 消息 推送 到 特定 队列 ， 其 他 
端点 的 职 程 会 捡 起 它们 然后 执行 一 个 动作 。 每 个 任务 都 是 单一 职 程 。 如 图 5-1 所 示 。 


图 5-1 push-pull 队列 
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这 里 没有 双向 通信 ， 发 送 者 在 队列 中 保存 一 个 消息 就 离开 了 。 下 一 个 可 用 的 职 程 
将 获得 下 一 条 消息 。 

若 想 执行 一 些 异 步 并 行 任务 , 这 种 盲目 的 单 向 消息 传递 方式 是 完美 的 , 易于 扩展 。 

此 外 ， 一 旦 发 送 者 已 确认 消息 被 添加 到 代理 中 ， 就 可 让 诸如 RabbitMQ 的 消息 代 
理 对 消息 进行 持久 化 。 换 言 之 ， 即 便 所 有 职 程 离线 ， 也 不 会 丢失 队列 中 的 任何 消息 。 


5.2.2 ”主题 队列 


任务 队列 模式 的 变 体 是 主题 模式 。 在 这 种 模式 下 ， 与 职 程 盲目 地 接收 每 个 队列 新 
增 消息 不 同 的 是 ， 职 程 只 需要 订阅 特定 主题 的 消息 。 主 题 就 是 消息 的 标签 ， 职 程 可 从 
队列 中 捡 起 消息 ， 然 后 判断 是 否 匹 配 主题 来 进行 过 滤 。 

在 我 们 的 微服 务 中 ， 这 意味 着 可 以 有 特定 的 职 程 ， 它 们 都 注册 到 消息 代理 上 ， 然 
后 获取 添加 到 队列 中 的 消息 子 集 。 


Celery 是 构建 任务 队列 的 卓越 工具 ， 不 过 对 于 复杂 消息 ， 我 们 需要 使 用 另 一 个 工 
具 ， 见 图 5-2. 

© 

© 

© 

© 

/ 

图 5-2 主题 队列 


要 实现 复杂 消息 模式 ， 好 消息 是 可 使 用 RabbitMQ 消息 代理 ， 它 能 与 Celery 以 及 
其 他 库 一 起 协同 工作 。 

要 安装 RabbitMQ 代理 ， 可 从 下 载 页 面 http:/wwwxzrabbitmq.comy/download.html FF 
始 。RabbitMQ 代理 是 一 个 TCP 服务 器 ， 在 内 部 管理 队列 ， 并 通过 RPC 调用 将 消息 从 
发 布 者 分 发 到 订阅 者 服务 器 .和 Celery 一 起 使 用 只 是 这 个 系统 所 提供 的 一 小 部 分 功能 。 
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RabbitMQ 实 现 了 高 级 消息 队列 协议 (Advanced Message Queuing Protocol, AMQP). 
这 个 协议 的 相关 详细 说 明 可 参见 http:/www.amqp.org/， 它 是 由 行业 内 多 个 大 公司 开发 
了 多 年 的 完整 标准 。 

AMQP 包含 以 下 概念 : 

e 队列 是 持 有 消息 的 接收 者 ， 并 等 待 消息 消费 者 选择 它们 。 

o 交换 器 是 入 口 ， 供 发 布 者 将 新 消息 添加 到 系统 。 

。 绑 定 器 定义 如 何 将 消息 从 交换 器 路 由 到 队列 。 

对 于 主题 队列 ， 需 要 设置 一 个 交换 器 ， 这 样 RabbitMQ 会 接受 新 消息 ， 并 设置 所 
有 队列 ， 职 程 会 从 队列 中 捡 出 消息 。 在 中 间 过 程 ， 使 用 绑 定 器 把 消息 路 由 到 不 同 主题 
的 队列 上 。 

假设 设置 了 两 个 职 程 ， 一 个 接受 竞赛 的 消息 ， 另 一 个 接受 训练 的 消息 。 

每 次 竞赛 的 消息 都 会 打上 标签 race.id， 这 里 race 是 固定 前 级 ，id 是 竞赛 的 唯一 标 
识 。 类 似 地 ， 对 训练 消息 也 会 打上 标签 training.id。 

通过 安装 RabbitMQ， 可 使 用 rabbitmqadmin 命令 行 创建 所 有 必要 的 队列 组 件 : 


$ rabbitmqadmin declare exchange name=incoming type=topic 
exchange declared 


$ rabbitmqadmin declare queue name=race 
queue declared 


$ rabbitmqadmin declare queue name=training 
queue declared 


$ rabbitmqadmin declare binding source="incoming" 
destination type="queue" 

destination="race" routing key="race.*" 

binding declared 


$ rabbitmqadmin declare binding source="incoming" 
destination_type="queue" 

destination="training" routing_key="training.*" 

binding declared 


在 这 个 设置 中 ， 每 个 消息 都 被 发 送 给 RabbitMQ， 如 果 主 题 以 race. 开 头 ， 消 息 会 
被 推送 到 race PAF); 如 果 以 training. 开 头 ， 则 被 推送 到 training 队列 。 
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可 使 用 Pika(https://pika.readthedocs.io) 在 代码 中 与 RabbitMQ 进行 交互 ， 这 是 一 个 
Python RPC 客户 端 ， 实 现 了 针对 了 Rabbit 功能 的 所 有 RPC 接口 。 
通过 Pika 完成 的 所 有 事情 都 可 在 命令 行 上 使 用 rabbitmqadmin 实现 。 可 获取 
所 有 队列 的 状态 ， 可 发 送 和 接收 消息 ， 以 及 检查 队列 中 的 内 容 。 使 用 
rabbitmqadmin 是 实验 消息 设置 的 极 佳 方法 。 


下 面 的 脚本 演示 如 何 向 RabbitMQ 的 传 入 交换 器 发 布 两 条 消息 。 一 条 是 race.34， 
另 一 条 是 training.12: 


from pika import BlockingConnection, BasicProperties 


# assuming there’ s a working local RabbitMQ server with a working 
guest/guest account 
def message(topic, message): 
connection = BlockingConnection () 
Erys 
channel = connection.channel () 
props = BasicProperties (content_type='text/plain', 
delivery mode=1) 
channel.basic_publish('incoming', topic, message, props) 
finally: 
connection.close() 
# sending a message about race 34 


message ('race.34', 'We have some results!') 


# training 12 


message('training.12', "It's time to do your long run") 


这 些 RPC 调用 最 终 将 在 竞赛 和 训练 队列 中 分 别 添加 一 条 消息 。 等 待 竞 赛 消息 的 职 
程 脚本 如 下 所 示 : 


import pika 

def on message (channel, method frame, header frame, body): 
race id = method_frame.routing_key.split('.') [-1] 
print('Race #%s: %s' % (race id, body)) 


channel .basic_ack(delivery tag=method_frame.delivery tag) 


print ("Race NEWS!") 
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connection = pika.BlockingConnection () 
channel = connection.channel () 
channel .basic_consume (on_message, queue='race') 
try: 
channel.start_consuming () 
except KeyboardInterrupt: 


channel.stop_consuming() 


connection.close() 


VER, Pika 会 向 RabbitMQ 返回 一 个 关于 消息 的 ACEK， 这 样 一 旦 职 程 成 功 完成 ， 
就 能 安全 地 从 队列 中 移 除 消息 。 
以 上 代码 的 输出 结果 为 : 


$ bin/python pika worker.py 
Race NEWS! 
Race #34: b'We have some results!' 


AMQP 提 供 了 多 种 交换 信息 的 模式 。 教 程 页 面 http://www.rabbitmq.com/getstarted 
html 上 列举 多 个 示例 ， 都 是 使 用 Python 和 Pika 实 现 的 。 

要 在 微服 务 中 集成 这 些 示例 ， 消 息 发 布 者 部 分 的 实现 很 简单 。Flask 应 用 可 使 用 
pika.BlockingConnection 来 创建 一 个 到 RabbitMQ 的 同步 连接 ， 然 后 通过 它 发 送 消息 。 
有 一 个 pika-pool(https://github.com/bninja/pika-pool) 项 目 实现 了 简单 的 连接 池 ， 通 过 它 
可 轻松 管理 RabbitMQ 连接 , 当 通 过 RPC 发 送 消息 时 , 不 需要 每 次 都 建立 或 断 开 连接 。 

另 一 方面 ， 对 于 消息 消费 者 ， 在 微服 务 中 进行 集成 就 有 没 那么 容易 了 。 

Pika 可 被 嵌入 事件 轮 询 器 中 ， 这 个 轮 询 器 和 Flask 应 用 是 同一 个 进程 ， 当 收 到 消 
息 时 会 触发 一 个 函数 。 这 个 功能 对 一 个 异步 框架 没 啥 问题 ， 但 是 对 Flask 应 用 ， 则 需 
要 在 另 一 个 线程 或 进程 中 使 用 Pika 客户 端 执行 代码 。 这 样 做 的 原因 是 ， 当 Flask 收 到 
一 个 request 时 ， 事 件 轮 询 器 可 能 会 被 阻塞 。 

要 使 用 Pika 客户 端 和 了 RabbitMQ 进行 交互 ， 最 可 靠 的 方法 是 有 一 个 独立 的 Python 
应 用 ， 以 Flask 微服 务 的 身份 消费 消息 ， 然 后 执行 同步 HTTP 调用 。 这 种 方式 增加 了 
另 一 个 中 介 ， 但 有 能 力 确保 消息 被 成 功 接收 。 通 过 在 本 章 前 面 所 学 的 关于 请 求 的 所 有 
技巧 ， 我 们 能 构建 可 靠 的 桥接 : 


LIE 


import pika 
import requests 
from requests.exceptions import ReadTimeout, ConnectionError 


FLASK_ENDPOINT = 'http://localhost:5000/event' 
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def on message (channel, method frame, header frame, body): 
message = {'delivery tag': method frame.delivery tag, 


'message': body} 


res = requests.post (FLASK_ENDPOINT, json=message, 
timeout=1.) 
except (ReadTimeout, ConnectionError) : 
print ('Failed to connect to %s.' % FLASK_ENDPOINT) 
# need to implement a retry here 


return 


if res.status_code == 200: 
print ('Message forwarded to Flask') 


channel.basic_ack(delivery tag=method_frame.delivery tag) 


connection = pika.BlockingConnection () 
channel = connection.channel () 
channel.basic_consume(on_message, queue='race') 
try: 

channel.start_consuming () 
except KeyboardInterrupt: 


channel.stop consuming () 


connection.close() 


当 消 息 发 送 到 队列 时 ， 这 个 脚本 会 在 Flask 上 执行 HTTP 调用 。 


还 有 一 个 RabbiltMQ 插件 可 将 消息 推送 给 HTTP 端点 ， 但 如 果 想 添加 特定 罗 
辑 的 代码 ， 将 这 个 桥接 隔离 到 小 脚本 中 提供 了 更 多 潜力 。 从 可 靠 性 和 性 能 的 
角度 看 ， 这 样 做 还 可 避免 在 RabbitMQ 内 部 集成 HTTP 推送 。 


在 Flask 中 ，/event 端点 可 以 是 一 个 经 典 视图 : 


from flask import Flask, jsonify, request 


app = Flask( name ) 


@app.route('/event', methods=['POST'] 


def event_received(): 
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message = request.json['message'] 
# do something... 
return jsonify({'status': 'OK'}) 


žE name = '_ main 


app- run () 


5.2.3 发 布 /订阅 模式 


前 一 个 模式 用 职 程 来 处 理 特定 主题 的 消息 ， 职 程 处 理 的 消息 完全 来 自 队列 。 我 们 
甚至 添加 了 代码 以 确认 消息 是 否 被 处 理 。 

当 希 望 将 消息 发 送 到 多 个 职 程 时 ， 可 使 用 发 布 /订阅 模式 。 

这 种 模式 是 构建 通用 事件 处 理 系统 的 基础 ， 实 现 维度 很 像 前 面 提 到 的 只 有 一 个 交 
换 器 和 多 个 队列 的 模式 。 不 同 之 处 是 交换 器 部 分 有 一 个 fanout 类 型 。 

在 该 设置 中 ， 每 个 绑 定 到 fanout 交换 器 的 队列 将 收 到 相同 的 消息 。 

通过 pubsub 模式 ， 可 根据 需要 将 消息 广播 给 所 有 微服 务 。 


5.2.4 AMQP 上 的 RPC 


AMQP 也 实现 了 一 个 同步 的 请 求 /响应 模式 , 这 意味 着 可 使 用 RabbitMQ 替换 HTTP 
JSON 调用 ， 直 接 进 行 服务 间 交 互 。 

这 种 模式 非常 吸引 人 的 地 方 在 于 ， 可 让 两 个 微服 务 直接 交互 。 有 些 框架 ， 如 
Nameko(http://nameko.readthedocs.io) 就 使 用 这 种 方式 来 构建 微服 务 。 

但 对 比 于 基于 HTTP 的 REST 或 RPC 方 式 ， 基 于 AMQP 的 RPC 方 式 在 使 用 上 优点 并 
不 明显 ， 除 非 打算 设 定 特定 的 通信 信道 ， 而 且 这 个 通信 信道 可 能 不 是 公开 的 API。 坚 
持 单一 API 可 让 微服 务 保持 简洁 。 


525 异步 总 结 


o 每 当 微服 务 执行 一 些 额 外 任务 时 ， 都 应 该 使 用 异步 调用 。 如 果 应 用 所 做 的 事 
情 和 响应 没有 关系 ， 就 没 理由 阻塞 请 求 。 

o Celery 是 执行 后 台 进程 的 好 方法 。 

e 服务 之 间 的 通信 并 不 总 是 局 限于 任务 队列 。 

。 发 送 事件 是 防止 服务 相互 依赖 的 好 方法 。 
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e 可 使 用 诸如 RabbitMQ 的 消息 代理 来 构建 一 个 完备 的 事件 系统 , 让 微服 务 通过 
消息 进行 交互 。 
e Pika 可 用 来 协调 所 有 消息 传递 。 


5.3 ”测试 服务 间 交 互 


第 3 章 曾 提 到 ， 当 编写 一 个 服务 调用 另 一 个 服务 的 功能 测试 时 ， 最 大 的 挑战 是 隔 
离 所 有 网 络 调用 。 

本 节 将 介绍 如 何 模拟 一 个 用 请 求 构 建 的 同步 调用 ， 以 及 如 何 模拟 一 个 异步 调用 ， 
并 将 异步 调用 提供 给 Celery 职 程 和 其 他 异步 进程 。 


5.3.1 模拟 同步 调用 


如 果 你 使 用 request 库 执行 所 有 调用 (或 使 用 一 个 基于 Request 且 没 有 太 多 定制 的 
库 )， 通 过 使 用 本 章 前 及 的 传输 适配器 ， 独 立 工 作 就 很 容易 实现 。 

requests-mock 项 目 (https:/requests-mockreadthedocs.io) 实 现 了 一 个 适配器 ， 这 个 适 
配器 能 在 测试 中 模拟 网 络 调用 。 

本 章 前 面 介绍 了 一 个 Flask 应 用 示例 ， 有 一 个 HTTP 端点 通过 地 址 /api 提供 内 容 
服务 。 

这 个 应 用 使 用 setup_connector0 函数 构建 的 请 求 会话 ， 然 后 在 视图 中 使 用 
get_connectorO 函 数 获 取 会 话 。 

在 下 面 的 测试 中 ， 先 通过 requests mock.Adapter0 获 取 适 配器 实例 ， 然 后 调用 
session.mount() 将 requests_mock 的 适配器 挂 载 到 会 话 中 。 


import json 

import unittest 

from flask_application import app, get_connector 
from flask_webtest import TestApp 


import requests_mock 


class TestAPI (unittest.TestCase) : 
def setUp (self): 
self.app = TestApp (app) 
# mocking the request calls 
session = get_connector (app) 


self.adapter = requests_mock.Adapter () 
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session.mount ("http://', self.adapter) 


def test_api(self): 
mocked value = json.dumps({'some': 'data'}) 
self.adapter.register uri('GET', 'http://127.0.0.1:5000 
/api', text=mocked_value) 
res = self.app.get('/api') 


self.assertEqual (res.json['result']['some'], 'data') 


使 用 适配器 提供 了 手工 注册 响应 的 能 力 ， 对 于 远 端 服务 (http://127.0.0.1:5000/api) 
上 的 端点 ， 通 过 register uri 来 手工 注册 响应 。 适 配器 会 拦截 这 个 调用 ， 然 后 立刻 返回 
一 个 模拟 值 。 

在 test_api0 测 试 中 ， 先 尝试 访问 应 用 视图 ， 当 需要 调用 外 部 服务 时 会 确保 使 用 提 
供 的 JSON 数据 。 

requests-mock 使 用 正则 表达 式 匹配 request， 所 以 这 是 一 个 在 测试 中 非常 有 用 的 适 
配器 ， 能 避免 运行 测试 时 的 网 络 依赖 问题 。 

模拟 其 他 服务 的 响应 需要 完成 大 量 工作 且 很 难 维护 。 这 意味 着 还 需要 关注 其 他 服 
务 是 如 何 变化 的 ， 所 以 当 模 拟 行为 不 再 是 真实 API 的 行为 时 ， 测 试 中 的 模拟 也 就 失去 
意义 了 。 

使 用 模拟 能 帮助 构建 良好 的 功能 测试 覆盖 率 ， 但 你 务必 完成 很 好 的 集成 测试 。 集 
成 测试 是 在 真实 调用 其 他 服务 的 部 署 环境 中 ， 针 对 服务 进行 的 测试 。 


5.3.2 ”模拟 异步 调用 


如 果 应 用 异步 地 发 送 或 接收 请 求 ， 设 置 一 些 测试 要 比 同步 调用 更 难 一 些 。 

异步 调用 意味 着 应 用 发 送 一 些 消息 给 某 处 ， 并 不 期 望 立刻 返回 结果 (或 者 干脆 忘 
掉 它 )。 

异步 调用 还 意味 着 应 用 可 能 对 发 送 给 它 的 事件 做 出 反应 , 就 像 在 使 用 Pika 时 所 看 
到 的 几 个 模式 一 样 。 


1. 模拟 Celery 


如 果 为 Celery 职 程 构建 测试 ， 运 行 测试 最 简单 的 方法 是 使 用 一 个 真实 的 Redis 服 
务 器 。 可 轻松 地 在 任何 平台 上 运行 Redis 服务 器 。 甚 至 Travis-CI 都 可 运行 一 个 。 所 以 
不 同 于 添加 很 多 工作 来 模拟 交互 ，Flask 代码 将 与 Redis 一 起 工作 ， 真 实地 将 任务 发 送 
给 职 程 。 

使 用 一 个 真实 代理 意味 着 可 在 测试 中 运行 Celery 职 程 ， 而 这 一 切 只 是 为 了 验证 应 
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用 是 否 发 送 了 适当 的 任务 格式 。Celery 提供 了 一 个 pytest 测试 fixture， 可 运行 一 个 独 
立 线 程 ， 并 在 测试 结束 时 关闭 它 。 

要 使 用 Redis 并 指向 测试 ， 可 用 fixture 配置 Celery。 第 一 步 是 在 包含 Celery 任务 
的 测试 目录 下 ， 创 建 一 个 tasks.py 文件 。 

下 面 是 这 个 文件 的 一 个 例子 。 请 注意 我 们 并 没有 创建 一 个 Celery 实例 ， 但 使 用 
@shared_task 装饰 器 来 标记 函数 是 celery 任务 。 


from celery import shared task 


import unittest 


@shared_task(bind=True, name='echo') 
def echo(app, msg): 


return msg 


这 个 模块 实现 了 一 个 叫做 echo 的 Celery 任务 , 将 回 显 字符 串 。 为 配置 pytest 来 使 
用 它 ， 需 要 实现 celery_config 和 celery_includes 的 fixture: 


import pytest 


@pytest.fixture (scope='session') 
def celery config(): 
return { 
"broker_url': 'redis://localhost:6379', 
‘result_backend': 'redis://localhost:6379' 


@pytest . fixture (scope='session') 
def celery includes (): 


return ['myproject.tests.tasks'] 
celery_config 函数 用 来 传递 创建 Celery 职 程 需要 的 所 有 参数 , celery_includes 仅 导 


入 要 返回 的 模块 列表 。 在 本 例 中 ， 将 在 Celery 任务 注册 器 中 注册 echo 任务 。 
这 里 ， 测 试 可 使 用 echo 任务 ， 有 一 个 职 程 也 会 被 真实 地 调用 : 


from celery.execute import send_task 


class TestCelery(unittest.TestCase) : 
@pytest . fixture (autouse=True) 
def init_worker(self, celery worker) : 


self.worker = celery worker 
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def test_api(self): 
async result = send_task('echo', ['yeah'], {}) 
self.assertEqual (async _result.get(), 'yeah') 


这 里 注意 ， 我 们 使 用 send_task0 来 触发 任务 的 执行 。 只 要 任务 具有 唯一 名 称 ， 任 
何 注册 在 Celery 代理 上 的 任务 都 可 用 这 个 函数 来 运行 。 

对 所 有 任务 进行 命名 ， 并 在 所 有 微服 务 中 确保 唯一 性 是 最 佳 实践 。 

这 样 做 的 原因 是 ， 当 一 个 微服 务 想 要 从 职 程 运行 一 个 任务 时 ， 不 必 为 获得 任务 而 
导入 该 职 程 的 代码 。 
在 下 面 的 代码 示例 中 , echo 任务 在 独立 的 微服 务 中 运行 , 只 需要 知道 任务 名 (而 不 
必 导入 代码 )， 就 可 通过 send_taskO 调 用 来 触发 任务 ， 每 个 交互 都 通过 Redis 进行 : 


>>> import celery 

>>> redis = 'redis://localhost:6379' 

>>> app = Celery(__name__, backend=redis, broker=redis) 

>>> £ = app.send_task('echo', ['meh']) 

>>> £.get() 

'meh' 

回 到 你 的 测试 ， 如 果 测 试 模拟 了 一 些 Celery 职 程 ， 请 确保 实现 了 任务 的 远 端 应 
上 每 个 任务 都 有 一 个 名 称 ， 还 要 确保 正在 测试 的 应 用 在 代码 中 使 用 send_taskO 调 用 
任务 。 

通过 这 种 方式 ，Celery fixture 会 神奇 地 为 应 用 模拟 职 程 。 
最 后 ， 应 用 不 会 同步 地 等 待 Celery 职 程 返回 结果 ， 所 以 在 API 调用 完成 后 ， 需 要 
对 测试 用 的 职 程 进行 检查 。 


2. 模拟 其 他 异步 调用 


如 果 你 使 用 Pika 和 了 RabbitMQ 进行 消息 处 理 ，Pika 库 会 直接 使 用 socket 模块 和 服 
务 器 交互 , 这 让 模拟 变 得 很 痛苦 , 因为 我 们 要 在 线路 上 跟踪 数据 是 如 何 发 送 和 接收 的 。 

像 Celery 一 样 , 可 为 测试 运行 一 个 本 地 RabbitMQ 服务 器 (Travis-CI 也 提供 了 这 个 
功能 ， 可 参见 https://docs.travis-ci.com/user/database-setup/)。 

这 时 ， 发送 消息 就 和 平时 一 样 了 ， 可 创建 一 个 脚本 从 Rabbit 队列 中 捡 起 消息 并 进 
行 验证 。 
当 需 要 测试 从 RabbitMQ 收 到 事件 的 进程 时 ， 如 果 是 通过 HTTP 调用 发 生 的 (就 像 
我 们 在 AMQP-to-HTTP 的 桥接 中 所 做 的 一 样 ), 可 简单 地 通过 手工 触发 事件 进行 测试 。 
最 重要 的 是 在 运行 测试 时 确保 不 依赖 其 他 微服 务 。 但 是 ， 只 要 能 在 专 有 的 测试 环 
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境 运 行 它们 ， 对 诸如 Redis 或 RabbitMQ 的 消息 服务 器 的 依赖 就 不 是 问题 。 


54 ”本 章 小 结 


本 章 介 绍 了 一 个 服务 如 何 通 过 使 用 请 求 会 话 ， 与 其 他 服务 同步 地 交互 ， 还 介绍 了 
一 个 服务 如 何 通 过 使 用 Celery 职 程 或 更 高 级 的 RabbitMQ 消息 模式 ， 与 其 他 服务 异步 
地 交互 。 

通过 模拟 其 他 服务 (但 并 不 需要 模拟 消息 代理 )， 可 独立 地 测试 服务 。 

独立 地 测试 每 个 服务 非常 有 用 , 不 过 当 错 误 发 生 时 , 很 难 知 道 发 生 了 什么 , 当 bug 
发 生 在 一 系列 异步 调用 中 时 尤其 如 此 。 

这 种 情况 下 ， 通 过 中 心 化 的 日 志 系 统 来 跟踪 发 生 了 什么 将 很 有 帮助 。 第 6 章 将 说 
明 如 何 利用 微服 务 来 跟踪 它们 的 活动 。 
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第 日 章 
监控 服务 


在 前 一 章 中 ， 已 测试 了 彼此 交互 的 独立 服务 。 但 当真 实 的 部 署 环境 发 生 问题 时 ， 
需要 对 当前 情况 有 一 个 全 局 性 认识 。 例 如 ， 当 第 一 个 微服 务 调 用 第 二 个 微服 务 ， 而 第 
二 个 微服 务 又 调用 第 三 个 微服 务 时 ， 就 很 难 理解 到 底 是 哪 一 个 出 了 问题 。 我 们 需要 能 
够 跟踪 用 户 与 引发 问题 的 系统 的 所 有 交互 信息 。 

Python 应 用 生成 的 日 志 可 帮助 调试 问题 ， 但 在 不 同 服务 器 之 间 收 集 所 需 的 信息 会 
非常 困难 。 幸 好 ， 可 通过 集中 化 日 志 来 监控 一 个 分 布 式 部 署 环境 。 

持续 监控 服务 对 于 确定 整个 系统 的 健康 状况 和 跟踪 各 个 部 分 的 运转 也 很 重要 。 这 
涉及 一 些 问题 ， 例 如 ， 是 否 有 一 个 服务 正在 危险 地 接近 占用 100% 的 内 存 ? 某 个 微服 
务 每 分 钟 处 理 多 少 请 求 ? 是 不 是 为 某 个 API 部 署 了 太 多 服务 器 ， 能 否 移 除 部 分 实例 以 
减少 费用 ? 刚 部 署 的 应 用 是 否 对 性 能 产生 了 负面 影响 ? 

为 持续 地 回答 这 些 问 题 ， 每 个 部 署 的 微服 务 都 需要 有 一 种 机 制 ， 能 向 监控 系统 报 
告 主要 指标 。 

本 章 主 要 由 以 下 两 部 分 组 成 : 

。 集中 化 日 志 

o 性 能 指标 

在 本 章 结 束 后 ， 你 将 对 如 何 设置 微服 务 并 监控 它们 有 一 个 完整 的 认识 。 


6.1 集中 化 日 志 


Python 内 置 了 logging 4, 它 能 将 日 志 以 流 的 形式 输出 到 不 同 地 方 , 包含 标准 输出 、 
轮转 日 志文 件 、syslog、TCP 或 UDP 套 接 字 。 
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Flask 应 用 甚至 能 将 日 志 输出 到 SMTP 服务 器 。 在 下 例 中 ， 当 email errors 装饰 的 
函数 抛 出 异常 时 ，email_ eror 装饰 器 会 发 送 一 份 邮件 。 注 意 这 个 处 理 器 会 使 用 telnet 
会 话 连接 SMTP 服务 器 来 发 送 邮件 。 如 果 这 个 会 话 出 现 问题 ， 就 可 能 在 调用 
loggerexception0 函 数 时 抛 出 第 二 个 异常 : 


import logging 
from logging-handlers import SMTPHandler 


host = "smtp.example.com", 25 
handler = SMTPHandler(mailhost=host, fromaddr="tarek@ziade.org", 
toaddrs=["tarek@ziade.org"], 


subject="Service Exception") 


logger = logging.getLogger ('theapp') 
logger .setLevel (logging. INFO) 
logger .addHandler (handler) 


def email errors (func) : 
def email errors(*args, **kw) : 
try: 
return func(*args, **kw) 
except Exception: 
logger.exception('A problem has occured') 
raise 


return _email errors 


@email_errors 
def function_that_raises(): 


print (i_dont_exist) 


function_that_raises () 


如 果 上 面 的 代码 能 正常 调用 ， 就 能 收 到 一 封包 含 完整 异常 回溯 信息 的 电子 邮件 。 


Python 的 日 志 包 中 有 许多 内 置 的 处 理 器 ， 见 https://docs.python.org/3/library/ 
logging.handlers.html. 


在 开发 服务 时 ， 将 日 志 输出 到 标准 输出 或 日 志文 件 是 合适 的 ， 但 如 前 文 所 述 ， 在 
分 布 式 系统 中 ， 这 种 方式 无 法 扩展 。 
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用 邮件 发 送 错误 信息 是 一 种 改进 ， 但 高 流量 的 微服 务 可 能 在 一 小 时 内 产生 上 千 个 
重复 的 异常 信息 一 一 意味 着 发 送 上 千 封 重复 邮件 。 同 时 ， 如 果 滥 发 大 量 邮 件 ， 那 么 服 
务 所 在 的 服务 器 地 址 可 能 被 收 件 箱 的 SMTP 服务 器 列 入 黑 名 单 ， 服 务 也 会 因为 忙于 发 
送 大 量 邮 件 而 无 法 响应 请 求 。 
因此 ， 分 布 式 系统 需要 更 好 的 办 法 来 处 理 错误 信息 ， 例 如 用 足够 小 的 开销 来 收集 
所 有 微服 务 的 日 志 ， 同 时 提供 一 些 可 视 化 的 用 户 界面 。 
目前 已 有 一 些 系统 能 集中 处 理 Python 应 用 生成 的 日 志 。 大 部 分 系统 可 接收 HTTP 
或 UDP 协议 的 负载 。 通 常 优先 选择 后 者 ， 因 为 后 者 可 减少 应 用 发 送 数 据 时 的 开销 。 

Python 社区 中 有 一 个 著名 的 工具 叫 Sentry(https://sentry.io)， 它 可 集中 管理 错误 
志 ， 还 提供 美观 的 用 户 界 面 来 展示 回溯 信息 。Sentry 能 在 服务 发 生 问题 时 检测 和 聚合 
错误 。 它 的 用 户 界面 提供 了 简明 的 解决 方案 工作 流程 ， 让 人 们 处 理 问题 。 

但 Sentry 专注 于 错误 处 理 ， 并 不 适合 通用 日 志 。 如 果 想 得 到 错误 之 外 的 日 志 ， 就 
得 另 寻 他 路 。 

另 一 个 开源 方案 是 Graylog(http://graylog.org)。 它 是 一 个 通用 日 志 应 用 ， 提 供 基 于 
Elasticsearch 的 强大 搜索 引擎 (日 志保 存在 Elasticsearch 中 ), 使 用 MongoDB(https://www. 
mongodb.com/) 存 储 应 用 数据 。 

Graylog 支持 自 定义 的 日 志 格式 和 其 他 备 选 格式 (如 简单 ISON 格式 )， 因 此 可 接受 
任何 日 志 。 它 包含 一 个 内 置 的 日 志 收集 器 ， 也 可 在 配置 后 与 其 他 收集 器 (如 fluentd)— 
起 工作 。 
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6.1.1 设置 Graylog 


Graylog 服务 器 是 一 个 Java 应 用 ， 它 使 用 MongoDB 作为 数据 库 ， 将 收 到 的 所 有 
日 志保 存在 Elasticsearch 中 。Graylog 栈 有 很 多 难以 设置 和 管理 的 移动 部 件 ， 如 果 要 自 
行 部 署 ， 那 么 需要 专门 人 员 来 实施 。 

生产 环境 的 典型 配置 是 : 一 个 专 有 的 Elasticsearch 集群 和 若干 个 Graylog 节点 , 每 
个 节点 都 有 一 个 MongoDB 实例 更 多 信息 可 参阅 Graylog 架构 文档 (http://docs.graylog. 
org/en/latest/pages/architecture.html). 

使 用 Docker(https://docs.docker.com) 镜 像 是 一 个 不 错 的 尝试 Graylog 的 方式 , 有关 
它 的 详细 说 明 见 http://docs.graylog.org/en/latest/pages/installation/docker.html。 


i) 第 10 章 解 释 如 何 使 用 Docker 来 部 署 微服 务 , 并 介绍 构建 和 运行 Docker 镜像 
所 需 的 基本 知识 。 


与 Sentry 类 似 ，Graylog 是 一 个 商业 公司 支持 的 项 目 ， 这 个 公司 提供 不 同 的 托管 
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方案 。 根据 项 目的 类 型 和 体 量 ， 避 免 自行 维护 Graylog 的 基础 设施 可 能 是 一 个 好 方案 。 
例如 ， 如 果 要 运行 一 个 有 服务 级 别 协议 (Service-Level Agreement，SLA) 的 商业 项 目 ， 
顺利 运行 一 个 Elasticsearch 集群 不 是 一 项 小 任务 ， 需 要 引起 注意 。 

但 对 那些 不 会 产生 大 量 日 志 的 项 目 ， 或 日 志 管理 的 短暂 宕 机 并 不 意味 着 世界 末 
情况 下 ， 自 行 维护 Graylog 栈 也 可 能 是 个 好 方案 。 

本 章 仅 使 用 Docker 镜像 、docker-compose( 通 过 一 个 调用 就 能 运行 和 绑 定 多 个 
docker 镜像 的 工具 ) 和 最 少 的 设置 来 演示 微服 务 如 何 与 Graylog 交互 。 

为 在 本 地 运行 Graylog 服务 ， 需 要 确保 已 安装 Docker( 见 第 10 章 )， 然 后 使 用 下 面 
的 Docker compose 配置 (来 自 Graylog 文档 ): 


version: '2' 
services: 
some-mongo: 
image: "mongo:3" 
some-elasticsearch: 
image: "elasticsearch:2" 
command: "elasticsearch -Des.cluster.name='graylog'" 
graylog: 
image: graylog2/server:2.1.1-1 
environment: 
GRAYLOG PASSWORD SECRET: somepasswordpepper 
GRAYLOG ROOT PASSWORD SHA2: 
8c6976e5b5410415bde908bd4dee15dfb167a9c873fc4bb8a81f6f2ab448a918 
GRAYLOG_WEB_ENDPOINT URI: http://127.0.0.1:9000/api 
links: 
- some-mongo :mongo 
- some-elasticsearch:elasticsearch 
ports: 
- "9000:9000" 
= "12201/udp:12201/udp" 


将 这 个 文件 以 文件 名 docker-compose.yml 保存 ， 之 后 在 包含 它 的 目录 中 运行 
docker-compose up， 这 样 Docker 就 会 拉 取 MongoDB, Elasticsearch 和 Graylog 镜像 ， 


然后 运行 它们 。 
一 旦 运行 , 就 能 在 浏览 器 中 打开 http://localhost:9000 来 查看 Graylog NRA, 然后 


H admin 作为 用 户 名 和 密码 来 使 用 它 。 


使 
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接着 通过 System | Inputs 命令 添加 一 个 UDP 输入 ， 以 便 Graylog 接收 微服 务 的 
日 志 


为 此 ， 在 端口 12012 创建 一 个 新 的 GELF UDP 输入 ， 如 图 6-1 所 示 。 


Launch new GELFUDP input 


Title 


microservices log 
Global 


Node 


9308890 / 2f1036260a8a 可 


Bind address 


0.0.0.0 


Port 


12201 


Receive Buffer Size (optional) 


262144 


Override source (optional) 


Decompressed size limit (optional) 


8388608 


图 6-1 创建 新 的 GELF UDP 输入 


一 旦 新 的 输入 就 绪 ，Graylog 就 能 绑 定 UDP 端口 12201， 然 后 准备 好 接收 数据 。 
docker-compose.yml 文件 已 经 公开 了 Graylog 镜像 的 这 个 端口 , 所 以 Flask 应 用 可 通过 
本 机 发 送 数据 。 

如 果 在 新 输入 上 点 击 Show Received Messages， 就 能 得 到 包含 了 所 有 收集 到 的 
志 的 结果 ， 如 图 6-2 所 示 。 
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Histogram 


duration graph 


-于 Messages a 
aes 


图 6-2 包含 所 有 收集 到 的 日 志 的 结果 


ASE! 现在 已 经 准备 好 在 一 个 集中 位 置 接收 日 志 ， 然 后 在 Graylog 仪表 盘 上 在 线 


查看 它们 。 


6.1.2 向 Graylog 发 送 日 志 


为 从 Python 向 Graylog 发 送 日 志 , 可 使 用 Graypy(https://github.com/severb/graypy)。 
它 将 Python 日 志 转 换 成 Graylog 扩展 日 志 格式 (GELF， 详 见 http://docs.graylog.org/en/ 


latest/pages/gelf:html). 


Graypy 默认 通过 UDP 发 送 日 志 ， 但 是 ， 如 果 需 要 百分之百 确保 E 


Graylog， 那 么 可 通过 AMQP 发 送 日 志 。 


志 都 能 发 送 到 


i) 大 多 数 情况 下 , 使 用 UDP 来 集中 化 日 志 已 经 够 用 。 但 与 TCP 不 同 , 使 用 UDP 


那么 基于 RabbitMQ 的 协议 会 更 可 靠 。 


为 使 用 Graypy， 需 要 将 内 置 的 日 志 处 理 器 替换 成 它 提供 的 处 理 器 ; 


handler = graypy.GELFHandler ("localhost', 12201) 
logger = logging.getLogger ('theapp') 

logger .setLevel (logging. INFO) 

logger .addHandler (handler) 


时 可 能 丢弃 一 些 数据 包 ， 且 无 法 发 现 。 如 果 你 的 日 志 策略 中 需要 更 多 保证 ， 


graypy.GELFHandler 类 会 将 日 志 转 换 成 UDP 负载 ， 然 后 发 给 GELF UDP 输入 。 


上 面 的 例子 中 ， 这 个 输入 会 监听 本 机 的 12201 端口 。 
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发 送 UDP 负载 的 代码 不 太 可 能 引发 错误 ， 开 销 也 最 低 ， 因 为 不 会 确认 对 方 已 经 
读 取 了 UDP 数据 报 。 

为 将 Graypy 集成 到 Flask 应 用 中 ， 可 直接 在 app.logger 上 添加 处 理 器 。 也 可 在 每 
次 Flask 因为 异常 (无 论 是 有 意 还 是 无 意 的 ) 而 终止 处 理 请 求 时 , 在 已 注册 的 错误 处 理 程 
序 中 自动 记录 异常 。 


import logging 

import graypy 

import json 

from flask import Flask, jsonify 


from werkzeug.exceptions import HTTPException, default exceptions 


app = Flask( name ) 


def error handling (error): 
if isinstance (error, HTTPException): 
result = { 'code': error.code, 'description': 
error.description} 
else: 
description = default_exceptions[500].description 


result = {'code': 500, 'description': description} 


app.logger.exception(str(error), extra=result) 
result ['message'] = str (error) 

resp = jsonify (result) 

resp.status_code = result['code'] 


return resp 


for code in default_exceptions.keys () : 


app.register_error handler(code, error_handling) 


@app.route('/api', methods=['GET', 'POST']) 
def my_microservice(): 
app. logger.info("Logged into Graylog") 
resp = jsonify({'result': "OK', 'Hello': 'World!'}) 
# this will also be logged 
raise Exception ('BAHM') 
return resp 


135 


136 


Python 微服 务 开发 


if name == ' main ': 
handler = graypy.GELFHandler('localhost', 12201) 
app. logger. addHandler (handler) 


app. run () 


调用 /api 时 ， 应 用 会 给 Graylog 发 送 简单 日 志 ， 以 及 包含 完整 回溯 的 异常 。 图 6-3 
展示 了 这 个 例子 生成 的 回溯 信息 。 


Search result 
Found 1 messages in 491 me searched i 


图 6-3 ”生成 的 回溯 信息 


用 户 也 会 在 JSON 响应 中 收 到 这 个 错误 。 
6.1.3 ”添加 扩展 字段 


Graypy 给 每 条 日 志 添加 一 些 元 数据 字段 ， 例 如 : 

o 远程 机 器 的 地 址 

e PID( 进 程 人 D)、 进 程 和 线程 名 

o 进行 调用 的 函数 名 

Graylog 自身 会 添加 接收 日 志 的 主机 名 (作为 source 字段) 和 其 他 一 些 字段 。 

对 于 分 布 式 系统 ， 需 要 添加 更 多 上 下 文 信息 以 便 高 效 地 搜索 日 志 。 例 如 ， 当 需要 
在 同一 个 用 户 会 话 中 搜索 一 系列 调用 时 ， 用 户 名 特别 有 用 。 

这 个 信息 通常 存储 在 微服 务 的 app.session 中 。 可 使 用 logging.Filter 类 ， 将 它 添 加 
到 发 送 给 Graylog 的 每 个 日 志 记录 中 。 
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from flask import session 


import logging 


class InfoFilter(logging.Filter) : 
def filter(self, record): 
record.username = session.get('username', 'Anonymous') 


return True 


app. logger .addFilter (InfoFilter() ) 


添加 这 个 过 滤器 后 ， 会 将 username 字段 添加 到 每 个 Graylog KA. 

你 能 想到 的 有 助 于 理解 正在 发 生 的 事情 的 任何 上 下 文 信息 ,都 应 该 发 送 到 Graylog 
中 。 尽 管 如 此 ， 还 需要 注意 ， 在 日 志 中 添加 更 多 数据 时 会 有 一 些 负面 效果 。 如 果 日 志 
包含 太 多 细节 ， 搜 索 会 变 得 低 效 ， 尤 其 在 一 个 请 求 会 产生 多 条 日 志 的 情况 下 。 

前 面 介 绍 了 微服 务 如 何 通 过 UDP 以 最 小 开销 将 所 有 日 志 发 送 到 一 个 集中 化 服务 
中 。 一 旦 存储 日 志 ， 这 个 集中 化 服务 应 提供 有 效 的 搜索 功能 。 

保留 所 有 日 志 ， 在 调研 微服 务 的 问题 时 会 非常 有 用 一 一 但 希望 这 种 情况 不 会 经 常 
发 生 。 

另 一 方面 ， 能 持续 监控 应 用 和 服务 器 性 能 ， 将 能 让 你 在 其 中 一 台 服 务 器 瘫痪 时 保 
持 主动 。 


Graylog 企业 版 是 一 个 托管 版 本 的 Graylog， 它 包含 一 些 额 外 功能 ， 如 归档 旧 
日 志 ， 详 见 https://www.graylog.org/enterprise/feature/archiving。 


6.2 ”性 能 指标 


当 微 服务 占用 全 部 内 存 时 ， 会 发 生 糟 糕 的 事情 。 一 些 Linux 发 行 版 会 使 用 臭名 昭 
著 的 “内 存 杀 手 ”(out-of-memory killer，oomkiller) 来 杀 掉 贪 禁 的 进程 。 

以 下 原因 可 能 导致 使 用 过 多 内 存 : 

e 微服 务 存在 内 存 泄 漏 ， 且 内 存 占用 量 稳定 增长 ,有 时 增长 非常 快 。Python 的 C 
扩展 中 常 忘记 解除 对 象 的 引用 ， 然 后 在 每 次 调用 时 泄漏 内 存 。 

e 代码 在 使 用 内 存 时 无 所 顾忌 。 例 如 ， 用 作 临 时 内 存 缓存 的 字典 会 在 几 天 内 无 
限 增长 一 -除非 设计 上 有 限制 。 

e 分 配给 服务 的 内 存 不 请 求 ， 或 处 理 任务 时 太 吃力 。 

能 跟踪 内 存 使 用 随时 间 的 变化 情况 ， 并 在 用 户 受 到 影响 前 了 解 这 些 问题 是 很 重 
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要 的 。 

在 生产 环境 中 接近 100% 的 CPU 使 用 率 也 会 有 问题 。 尽 管 最 大 化 CPU 使 用 率 是 
很 值得 的 ， 但 如 果 服 务 器 太 忙 ， 当 有 新 请 求 到 来 时 ， 服 务 将 无 法 响应 。 

最 后 ， 如 果 知 道 服务 器 磁盘 几乎 已 满 ， 可 采取 措施 防止 服务 因 空间 不 足 而 月 省 。 

但 愿 在 项 目 进入 生产 环境 前 ， 可 通过 负载 测试 发 现 大 部 分 问题 。 负 载 测试 是 一 个 
确定 服务 器 在 测试 期 间 和 一 段 时 间 内 能 承受 多 少 负载 ， 以 及 根据 预期 负载 来 调用 CPU 
和 内 存 资源 的 好 方法 。 

为 此 ， 使 用 服务 来 持续 监控 系统 资源 。 


6.21 系统 指标 


基于 Linux 的 系统 让 监控 CPU、 内 存 和 磁盘 变 得 简单 。 有 一 些 持续 更 新 的 系统 文 
件 包 含 这 些 信 息 ， 还 有 很 多 工具 可 读 取 它 们 。 诸 如 top 的 命令 行 工具 能 跟踪 所 有 运行 
的 进程 ， 并 根据 内 存 或 CPU 排序 。 

Python 中 的 psutilhttps://pythonhosted.org/psutij) 项 目 是 一 个 跨 平台 的 库 , 利用 它 能 
以 编程 方式 获取 这 些 信息 。 

结合 graypy 包 ， 可 编写 一 个 小 脚本 ， 将 系统 指标 持续 发 送 给 Graylog。 

以 下 示例 中 ，asyncio 循环 将 每 秒 的 CPU 使 用 百分比 发 送 给 Graylog: 


import psutil 
import asyncio 
import signal 
import graypy 
import logging 


import json 


loop = asyncio.get_event_loop() 
logger = logging.getLogger ('sysmetrics') 
def _exit(): 

loop. stop () 


def _probe(): 
info = {'cpu_percent': psutil.cpu_percent (interval=None) } 
logger . info (json. dumps (info) ) 


loop.call_later(1., _probe) 


loop.add_signal_handler(signal.SIGINT, _exit) 
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loop.add_signal_handler(signal.SIGTERM, _exit) 
handler = graypy.GELFHandler("localhost', 12201) 
logger .addHandler (handler) 

logger .setLevel (logging. INFO) 
loop.call_later(1., _probe) 


LUE: 
loop.run_forever () 
finally: 


loop.close () 


以 守护 进程 方式 在 服务 器 上 运行 这 段 脚本 ， 就 能 跟踪 CPU 的 使 用 情况 。 
System-metrics(https://github.com/tarekziade/system-metrics/) 项 目的 脚本 与 此 基本 相 


同 ， 但 添加 了 内 存 、 磁 盘 和 网 络 信息 。 如 果 使 用 pip install 命令 ， 那 么 可 通过 一 个 命 
令 行 脚本 来 探测 系统 。 


- 旦 脚本 运行 ， 就 能 在 Graylog Web 应 用 中 创建 一 个 包含 一 些小 组 件 的 仪表 盘 ( 见 


http://docs.graylog.org/en/latest/pages/dashboards.html)。 还 可 创建 一 个 警报 ， 用 于 在 特定 
情况 下 发 送 警 报 。 可 在 Graylog 的 stream 中 创建 警报 ， 它 会 实时 处 理 传 入 的 消息 。 


为 在 CPU 使 用 率 超过 70% 时 发 送 邮件 ， 可 创建 一 个 stream， 然 后 使 用 stream 规 


则 来 收集 psutil 脚本 发 送 的 cpu percent 字段 ， 如 图 6-4 所 示 。 


Rules of Stream »udp» 


1, Load a message to test rules 


Message D 


Selectan input from the list below and click "Load Message” to load ine most recent message from this input 


2. Manage stream rules | Add stream rue | 
Please load a message to check if it would match against these rules and therefore be routed into thi stream 


A message 


st Match at least one of the following rules 


Ñ Z cpu percent must be greater than 70 


图 6-4 stream 规则 


至 此 ,可 管理 stream 的 警报 ， 然 后 添加 一 条 email 警报 ， 使 其 在 满足 条 件 一 定时 


间 后 触发 。 
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6.2.2 ”代码 指标 


对 一 些微 服务 而 言 ， 能 得 到 代码 中 的 一 些 性 能 指标 会 很 有 用 。 

例如 New Relic 通过 封装 Flask 内 部 的 一 些 调用 来 跟踪 Jinja2 和 数据 库 调 用 的 性 
能 ， 以 测量 生成 模板 或 执行 数据 库 调 用 的 时 长 。 

但 如 果 要 在 代码 中 添加 测量 工具 , 并 将 它们 部 署 到 生成 环境 , 那么 需要 非常 小 心 。 
稍 不 留意 会 减 慢 服务 。 例 如 ， 使 用 Python 内 置 的 分 析 器 是 无 法 想象 的 ， 因 为 它 增 加 了 
相当 多 的 开销 。 

一 种 简单 模式 是 显 式 地 指定 那些 需要 测量 的 函数 。 

下 面 的 例子 中 ，@timeit 装饰 器 会 收集 fast_stuff0 和 some_slow_stuff0 两 个 函数 的 
执行 时 间 ， 然 后 在 每 个 请 求 结束 时 给 Graylog 发 送 一 条 包含 时 长 的 消息 : 


import functools 

import logging 

import graypy 

import json 

import time 

import random 

from collections import defaultdict, deque 


from flask import Flask, jsonify, g 


app = Flask( name ) 


class Encoder (json.JSONEncoder) : 
def default (self, obj): 
base = super (Encoder, self) .default 
# specific encoder for the timed functions 
if isinstance (obj, deque): 
calls = list (obj) 
return { 'num calls': len(calls), 'min': min(calls), 
"max': max(calls), 'values': calls} 


return base (obj) 


def timeit (func) : 
@functools.wraps (func) 
def timeit(*args, **kw): 
start = time.time() 


try: 
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return func(*args, **kw) 
finally: 
if 'timers' not in g: 
g.timers = defaultdict (functools.partial (deque, 
maxlen=5) ) 
g-timers[func. name __].append(time.time() - start) 


return _timeit 


@timeit 
def fast_stuff(): 
time.sleep(.001) 


@timeit 
def some_slow_stuff(): 
time.sleep(random.randint(1, 100) / 100.) 


def set_view_metrics (view func) : 
@functools.wraps (view _func) 
def _set_view_metrics(*args, **kw): 
‘Says 
return view_func(*args, **kw) 
finally: 
app. logger. info(json.dumps (dict (g.timers), cls=Encoder) 


return _set_view_metrics 


def set app metrics (app) : 
for endpoint, func in app.view_functions.items () : 


app.view_functions[endpoint] = set_view_metrics (func) 


@app.route('/api', methods=['GET', 'POST']) 
def my_microservice(): 
some_slow_ stuff () 
for i in range(12): 
fast_stuff () 
resp = jsonify({'result': 'OK', 'Hello': 'World!'}) 
fast_stuff() 


return resp 
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BE name = ' main ': 


handler = graypy.GELFHandler ('localhost', 12201) 
app. logger .addHandler (handler) 

app. logger. setLevel (logging. INFO) 

set_app metrics (app) 

app- run () 


使 用 这 些 测量 工具 后 ， 就 能 在 Graylog 中 追踪 每 个 调用 的 时 长 ， 如 图 6-5 所 示 。 


Search result 


ss ass $ 


图 6-5 追踪 每 个 调用 的 时 长 


6.2.3 Web 服务 器 指标 


最 后 一 个 要 在 集中 化 日 志 中 添加 的 指标 与 HITP 请 求 和 响应 相关 。 可 在 Flask 应 
内 部 与 定时 器 一 起 添加 这 些 指标 , 但 更 好 的 方式 是 在 Web 服务 器 级 别 实现 ， 这样 可 
减少 开销 ， 并 让 这 些 指标 能 兼容 那些 并 非 由 Flask 生成 的 内 容 。 
例如 ， 假 设 nginx 直接 支持 静态 文件 ， 而 我 们 还 想 跟踪 服务 的 情况 。Graylog 有 一 
个 集 市 (https://marketplace.graylog.org) 来 使 用 内 容 包 (content pack) 对 其 进行 扩展 。nginx 
内 容 包 (https://github.com/Graylog2/graylog-contentpack-nginx) 能 解析 nginx 的 访问 日 志 
和 错误 日 志 ， 并 将 其 推送 到 Graylog。 
这 个 内 容 包 配 备 一 个 默认 的 仪表 盘 , 它 利 用 nginx 的 能 力 , 使 用 syslog 来 发 送 UDP 
日 志 。 
使 用 这 个 配置 ， 就 能 跟踪 一 些 有 价值 的 信息 ， 例 如 : 
e 平均 响应 时 间 
。 每 分 钟 的 请 求 数 量 


San 
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e 远程 地 址 

e 调用 点 和 请 求 的 方法 

e 状态 码 和 响应 的 大 小 

结合 特定 于 应 用 的 指标 和 系统 指标 ， 所 有 这 些 日 志 都 可 用 于 构建 实时 仪表 盘 ， 用 
来 跟踪 部 署 环境 中 正在 发 生 的 情况 ， 如 图 6-6 所 示 。 


图 6-6 跟踪 部 署 环境 中 正在 发 生 的 情况 


6.3 ”本 章 小 结 


本 章 介绍 了 如 何在 微服 务 和 Web 应 用 级 别 添加 测量 工具 。 还 讲解 了 如 何 设置 
Graylog 来 集中 管理 日 志 并 使 用 生成 的 日 志 与 性 能 指标 。 

Graylogs 使 用 Elasticsearch 来 存储 所 有 数据 ， 这 个 选择 提供 出 色 的 搜索 功能 ， 便 
于 你 查找 正在 发 生 的 事情 。 添 加 警报 的 能 力也 很 有 用 ， 出 错时 ， 就 会 收 到 通知 。 但 部 
署 Graylog 时 需要 仔细 考虑 。 一 旦 有 了 大 量 数据 , 运行 和 维护 Elasticsearch 集群 的 工作 
会 变 得 繁重 。 
对 于 一 些 指标 ， 基 于 时 序 的 系统 ， 例 如 来 自 InfluxDatahttps:/www:influxdata.com/) 的 
InfluxDB( 开 源 ) 是 快速 和 轻 量 的 替代 品 。 但 这 并 不 意味 着 存储 原始 的 日 志和 异常 。 
如 果 很 在 意 性 能 指标 和 异常 ， 那 么 一 个 可 能 的 良好 防范 措施 是 结合 这 些 工具 : 使 
用 Sentry 来 处 理 异常 ， 使 用 InfluxDB 来 跟踪 性 能 。 无 论 如 何 ， 只 要 应 用 和 Web 服务 
器 通过 UDP 生成 了 日 志和 指标 ， 那 么 从 一 个 应 用 切换 到 另 一 个 工具 会 更 简单 。 
第 7 章 将 关注 微服 务 开发 的 另 一 个 重要 方面 : 保护 API, 提供 一 些 身份 验证 方案 ， 
以 及 避免 欺骗 和 滥用。 
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到 目前 为 止 ， 


s/a 
保护 服务 


除了 身份 验证 和 授权 ， 服 务 之 间 的 交互 都 介绍 完毕 了 。 每 个 HTTP 


请 求 都 乐观 地 返回 结果 。 但 这 样 的 情况 不 会 在 生产 环境 中 发 生 ， 有 两 个 简单 原因 


e 要 知道 谁 了 


E 在 请 求 服务 (身份 验证 ); 


e 要 知道 是 否 允 许 请 求 者 发 起 请 求 (授权 )。 
例如 , 大 部 分 情况 下 , 都 不 会 允许 一 个 匿名 的 服务 请 求 者 删除 数据 库 中 的 数据 项 。 


就 会 写 入 Cookie， 
在 基于 微服 务 


a 


J Web 页 面 进行 身份 验证 。 需 要 采用 一 种 方式 来 自动 允许 或 拒绝 服务 间 的 调用 。 
OAuth2 授权 协议 (https://oauth.net/2/) 可 在 微服 务 上 灵活 地 添加 身份 验证 和 授权 ， 
可 用 来 验证 用 户 和 服务 的 身份 。 本 章 将 介绍 OAuth2 的 一 些 特性 ， 并 学 习 如 何 验证 微 
有 务 的 身份 ， 这 个 微服 务 用 来 保护 服务 间 的 交互 。 


在 单 体 Web 应 用 中 ， 身份 验证 发 生 在 登录 页 面 ， 一 旦 用 户 身份 被 确认 ， 身 份 信息 


并 可 用 在 随后 的 请 求 中 。 
的 架构 中 ， 很 难 继续 使 用 这 个 方案 ， 因 为 微服 务 不 是 用 户 ， 无 法 使 


保护 服务 也 意味 着 要 避免 对 系统 的 各 种 欺诈 和 滥用 。 例 如 ， 如 果 一 个 客户 端 开始 
攻击 一 个 端点 ， 无 论 这 个 行为 是 恶意 攻击 ， 还 只 是 由 无 敌意 的 bug 触发 ， 都 需要 检测 


攻击 , 我们 是 无 能 为 力 的 ,但 构建 一 个 基本 Web 应 用 防火 墙 还 是 很 容易 的 ， 也 是 保护 


系统 免 受 常见 攻击 


的 好 办 法 。 


最 后 ， 还 可 通过 代码 级 别 的 修改 来 保护 微服 务 ， 如 控制 系统 调用 ， 或 确保 HTTP 
重 定向 的 最 终 页 面 不 是 一 个 恶意 网 页 。 本 章 最 后 将 列举 一 些 代码 级 保护 措施 ， 并 演示 
如 何 通过 持续 扫描 代码 找到 潜在 的 安全 问题 。 


以 下 是 本 章 涵盖 


盖 的 主题 : 


e OAuth? 协议 概述 ; 
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e 在 实践 中 基于 令 牌 (token) 的 身份 验证 是 如 何 工作 的 ; 

o 什么 是 JWT 标准 ， 以 及 如 何在 TokenDealer 服务 中 用 它 来 保护 微服 务 ; 
e 如 何 实现 Web 应 用 防火 墙 ; 

e 一 些 保护 微服 务 代码 的 最 佳 实践 。 


7.1 OAuth2 协议 


OAuth2 是 一 个 广泛 采用 的 标准 ， 用 来 保护 Web 应 用 ， 以 及 保护 应 用 与 用 户 之 间 
或 与 其 他 Web 应 用 之 间 的 交互 。 但 因为 采用 了 许多 复杂 的 REC 技术 ， 所 以 很 难 理解 。 

OAuth? 的 核心 思想 是 : 一 个 中 心 化 服务 负责 验证 请 求 者 的 身份 , 并 以 代码 或 令 牌 
方式 授予 一 些 访问 权限 ， 可 称 这 些 令 牌 或 代码 为 钥匙 。 一 旦 提供 资源 的 微服 务 接受 了 
钥匙 ， 用 户 或 服务 就 可 以 使 用 这 些 钥匙 来 访问 资源 。 

第 4 章 就 使 用 这 种 方式 构建 了 Strava 微服 务 。 在 通过 Strava 的 身份 验证 微服 务 授 
予 访问 权限 后 ， 发 起 请 求 的 服务 就 能 采用 和 用 户 一 样 的 方式 请 求 Strava API。 这 种 授 
权 方式 称 为 授权 代码 许可 (Authorization Code Grant，ACG)， 这 是 最 常用 的 授权 方法 ， 
也 称 为 三 段 式 OAuth， 因 为 它 涉及 用 户 、 身 份 验 证 微服 务 和 第 三 方 应 用 。Strava 生成 
段 可 用 于 请 求 其 API 的 授权 代码 ， 我 们 创建 的 Strava Celery 职 程 在 每 次 调用 时 都 会 
使 用 它 。 
在 图 7-1 中 ， 典 型 场景 是 让 用 户 和 应 用 进行 交互 ， 应 用 将 访问 诸如 Strava 的 微服 
务 。 当 用 户 调用 应 用 时 GD， 会 被 重 定向 到 Strava 服务 ， 然 后 Strava 服务 会 授予 应 用 访 
问 Strava API 的 权限 @， 一 旦 完成 ， 应 用 会 从 HITP 回调 中 获得 授权 代码 ， 此 后 就 能 
以 用 户 身份 来 访问 Strava APIG)。 


图 7-1 用 户 与 应 用 交互 


对 于 不 是 由 特定 用 户 发 起 的 服务 间 身 份 验证 ， 还 有 一 种 授权 类 型 ， 称 为 客户 端 凭 
证 授权 (Client Credentials Grant，CCG)， 服 务 A 可 向 身份 验证 微服 务 请 求 验证 ， 通 过 
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验证 后 会 获得 一 个 用 来 访问 微服 务 B 的 令 牌 。 


更 多 相关 信息 ， 请 参阅 OAuth? Authorization Framework 4.4 节 中 描述 的 CCG 
方案 (https:/tools.ietforg/html/rfe6749f#section-4.4)。 


这 种 方式 和 授权 方式 非常 相似 , 但 服务 无 法 像 用 户 那样 跳 转 到 Web 页 面 。 通 过 用 
密 钥 换取 令 牌 的 方式 而 隐 式 获得 了 授权 。 

对 于 基于 微服 务 的 架构 ， 使 用 这 两 种 授权 方法 能 集中 处 理 整个 系统 的 身份 验证 和 
授权 。 通 过 构建 实现 了 OAuth2 协议 的 微服 务 作为 身份 验证 服务 ， 并 跟踪 服务 之 间 是 
如 何 交 互 的 ， 就 得 到 一 个 可 减少 系统 安全 问题 的 解决 方案 ， 所 有 发 起 请 求 的 微服 务 都 
通过 构建 一 个 实现 了 部 分 OAuth2 协议 的 微服 务 进行 身份 验证 ， 一 切 都 集中 在 一 起 。 

CCG 流 是 本 章 最 有 趣 的 部 分 , 因为 它 能 在 不 依赖 于 用 户 的 情况 下 保护 微服 务 之 间 
的 交互 。 还 简化 了 权限 管理 ， 可 根据 上 下 文 发 布 具 有 不 同 使 用 范围 的 令 牌 。 

如 果 第 三 方 以 特定 用 户 的 身份 向 某 些 服务 发 起 请 求 ， 则 可 添加 三 段 式 身份 验证 来 
应 对 这 个 场景 。 不 过 本 章 将 主要 介绍 CCG 流 。 


如 果 不 想 实施 和 维护 应 用 的 身份 验证 部 分 ， 并 信任 第 三 方 来 管理 此 过 程 ， 那 
么 Auth0(https://auth0.com/) 就 是 一 个 出 色 的 商业 解决 方案 ， 对 于 基于 微服 务 
的 应 用 ， 它 提供 了 需要 的 所 有 API. 


实现 身份 验证 微服 务 前 ， 首 先 需 要 了 解 基于 令 牌 的 身份 验证 的 原理 。 如 果 能 正确 
理解 下 一 节 ， 那 么 掌握 OAuth2 中 的 其 他 内 容 将 更 容易 。 


7.2 ”基于 令 牌 的 身份 验证 


前 面 提 到 ， 在 没有 任何 用 户 参 与 的 情况 下 ， 当 服务 想 要 访问 另 一 个 服务 时 ， 可 使 
H CCG 流 。 

CCG 的 初衷 是 服务 可 像 用 户 那样 得 到 身份 验证 服务 的 验证 ， 并 获得 一 个 令 牌 ， 然 
后 可 使 用 这 个 令 牌 与 其 他 服务 交互 。 

令 牌 类 似 于 密码 ， 它 证 明 访 问 特定 资源 是 得 到 许可 的 。 无 论 是 用 户 还 是 微服 务 ， 
只 要 拥有 资源 可 识别 的 令 牌 就 拥有 了 访问 该 资源 的 密 钥 。 

令 牌 可 保存 任何 信息 ， 这 点 在 身份 验证 和 授权 过 程 中 非常 有 用 。 其 中 包括 : 

e 用 户 名 或 ID( 如 果 与 上 下 文 相关 ); 

o 操作 范围 ， 指 示 调用 者 能 执行 什么 操作 GER. SAS); 

e R ERORAR: 
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e 过 期 时 间 戳 ， 指 示 令 牌 多 长 时 间 内 有 效 。 

令 牌 通常 是 一 个 独立 凭证 , 用 作 请 求 服务 的 许可 。“ 独 立 ” 意 味 着 服务 将 能 验证 令 
牌 而 不 必 调 用 外 部 资源 , 这 是 避免 增加 服务 间 依 赖 的 绝 佳 方法 。 基于 令 牌 的 实现 方式 ， 
一 个 令 牌 还 可 用 来 访问 不 同 的 微服 务 。 

OAuth? 为 其 令 牌 使 用 JWT 标准 。 


@ 虽然 OAuth2 未 强制 要 求 使 用 JWT 标准 ， 但 IWT 标准 恰如其分 地 满足 了 
OAuth? HER. 


7.2.1 JWT 标准 


RFC 7519 描述 的 ISON Web Token(JWT) 是 令 牌 的 通用 标准 。 
这 里 ， 令 牌 是 由 三 部 分 组 成 的 长 字符 串 ， 各 部 分 之 间 用 点 分 隔 : 
o header: 提供 有 关 令 牌 的 信息 ， 如 使 用 哪 种 哈 希 算法 ; 

o payload: 提供 实际 数据 ; 

o signature: 提供 令 牌 的 签名 哈 希 值 ， 用 于 检查 是 否 合法 。 
JWT 令 牌 使 用 base64 编码 ， 所 以 可 用 在 查询 字符 串 中 。 

这 里 是 一 个 编码 格式 的 JWT 令 牌 : 


eyJhbGci0iJIUZI1NiIsInR5cCI6IkpxvcJ9 
eyJ1c2VyIjoidGFyZWsifQ 


OeMWz 6ahNsf-TKg8LQONGNMnFHNtReb0x3NMsO0eY64WA 
为 方便 显示 ， 上 述 令 牌 的 每 部 分 都 使 用 换行 符 进 行 分 隔 ， 而 原始 令 牌 是 单 
行 的 。 

如 果 用 Python 进行 解码 : 


>>> import base64 
>>> def decode (data) : 
# adding extra = for padding if needed 
pad = len(data) % 4 
if pad > 0: 
data += '=' * (4 - pad) 
return base64.urlsafe_b64decode (data) 
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>>> decode ('eyJhbGci0iJ1IUzI1NiIsInR5ScCI6IkpxVvCJ9") 

pi Wala" s"HSZ56", “typ "INL } 

>>> decode ('eyJ1lc2VyIjoidGFyZWsifQ') 

b'{"user":"tarek"}' 

>>> decode ('OeMWz 6ahNsf-TKg8 LONGNMnFHNtReb0x3NMs0eY64WA') 
b'9\xe3\x16\xcf£\xa6\xal6\xc7\xfeL\xa8<- 

\x03] 4\xc9\xc5\x1c\xdbQy\xbd1\xdc\xd3, \xd1\xe6:\xel" 


除了 signature 部 分 外 ,JWT 令 牌 的 每 一 块 都 是 JSON 映射 .header 通常 包含 typ 键 
All alg 键 。typ 键 表示 这 是 JWT 令 牌 ，alg 键 则 表示 使 用 哪 种 哈 希 算法 。 
下 面 的 header 例子 使 用 的 哈 希 算法 参数 是 HS256， 它 代表 HMAC-SHA256 算法 : 


{"typ": "JWI", "alg": "HS256"} 


payload 包含 需要 的 全 部 内 容 ， 每 个 字段 在 RFC 7519 术语 中 称 为 JWT 声明 。 
RFC 定义 了 令 牌 可 能 包含 的 预定 义 声明 列表 , 称 为 注册 声明 名 称 (Registered Claim 
Names)。 以 下 是 其 中 一 部 分 : 
o iss: 是 令 牌 的 发 布 者 ， 是 生成 令 牌 的 实体 名 称 。 通 常 是 一 个 完全 限定 的 主机 
名 ， 因 此 客户 端 可 用 这 个 属性 请 求 /well-knowmn/jwks,json 来 获得 公 钥 。 
exp: 是 到 期 时 间 ， 用 来 告知 令 牌 何 时 失效 。 
nbt: 是 不 早 于 时 间 ， 用 来 告知 在 何 时 之 前 令 牌 是 无 效 的 。 
aud: 是 受众 ， 用 来 告知 谁 是 令 牌 的 收 件 人 。 
© iat: 是 令 牌 发 布 时 间 ， 用 来 告知 令 牌 何 时 发 布 。 
下 面 的 payload 例子 提供 自 定义 的 user id 值 ， 以 及 可 让 令 牌 在 发 布 后 24 小 时 有 
效 的 时 间 戳 。 一 旦 生效 ， 该 令 牌 能 使 用 24 小 时 : 


{ 
"iss": "https://tokendealer.example.com", 
"aud": "runnerly.io", 
"iat": 1488796717, 
"nbt": 1488883117, 
"exp": 1488969517, 
"user id": 1234 
} 


在 控制 令 牌 的 有 效 时 长 方面 ， 这 些 header 配置 提供 了 极 大 的 灵活 性 。 
根据 微服 务 的 特性 ， 令 牌 的 生存 时 间 (Time-To-Live) 可 能 极 短 ， 也 可 能 长 到 无 限 。 
例如 ， 对 于 微服 务 之 间 的 交互 ， 在 系统 中 为 避免 总 是 重新 生成 令 牌 ， 最 好 使 有 效 时 间 
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长 一 些 。 另 一 种 情况 ， 如 果 令 牌 提供 给 外 部 请 求 者 ， 那 么 有 效 时间 短 一 些 更 安全 。 
JWT 令 牌 的 最 后 一 部 分 是 signature， 它 包含 header 和 payload 的 签名 哈 希 值 。 用 
于 签名 和 哈 希 的 算法 有 很 多 。 有 些 基于 密 钥 ， 有 些 基于 公 钥 和 私 钥 对 。 
下 面 介绍 如 何在 Python 中 使 用 JWT 令 牌 。 


7.2.2 PyJWT 


在 Python 中 ， 要 生成 和 读 回 JWT 令 牌 ，PyJWT(https://pyjwt.readthedocs.io/) 库 提 
供 了 需要 的 所 有 工具 。 

一 旦 使 用 pip 安装 了 PyJWT (以 及 cryptography)， 就 能 用 encode0 方 法 和 decode() 
方法 来 创建 令 牌 了 。 

下 例 使 用 HMAC-SHA256 算法 创建 一 个 JWT 令 牌 ， 然 后 将 其 读 
时 会 根据 提供 的 密 钥 验证 signature: 


从 
i 
a 
A 
= 


>>> import jwt 


>>> def create_token(alg='HS256', secret='secret', **data): 


return jwt.encode(data, secret, algorithm=alg) 


>>> def read_token(token, secret='secret', algs=['HS256']): 


return jwt.decode(token, secret) 


>>> token = create_token(some='data', inthe='token') 

>>> print (token) 

b'eyJ0eXAi0i JKV1QiLCJhbGci0iJIUzZI1NiJ9.eyJpbnRoZSI6InRva2Vuliwic29t 
ZSI6ImRh 

dGEifQ.oKmFaNV-C2wHb_WaMAf IGDqBPnOCyOzVf-JWvh-6bRQ' 

>>> read = read token (token) 

>>> print (read) 


{'inthe': 'token', 'some': 'data'} 


提示 : create token0 方 法 使 用 算法 参数 调用 jwtdecode0， 算 法 参数 可 确保 使 
用 正确 算法 来 验证 令 牌 。 这 是 一 个 很 好 的 实践 ， 可 防止 恶意 令 牌 诱骗 服务 器 
使 用 意外 的 算法 ; 可 访问 https://auth0.com/blog/critical-vulnerabilities-in-json- 
web-token-libraries/ 了 解 详情 . 


执行 此 代码 时 ， 令 牌 将 以 压缩 和 未 压缩 格式 显示 。 
如 果 使 用 注册 声明 中 的 一 项 ，PyJWT 将 根据 声明 要 求 进行 控制 。 例 如 ， 如 果 提供 
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exp 字段 但 令 牌 已 过 期 ，PyJWT 将 抛 出 错误 。 

当 只 有 几 个 微服 务 运 行 时 ， 使 用 密 钥 来 进行 签名 和 验证 签名 是 可 行 的 ， 但 如 果 微 
服务 数量 较 多 ， 它 很 快 就 会 出 现 问题 ; 所 有 服务 都 需要 验证 签名 ,因此 需要 共享 密 钥 。 
这 时 若 改 动 密 钥 ， 如 何 安全 地 对 这 么 多 微服 务 进行 修改 将 成 为 一 项 挑战 。 

而 且 基 于 共享 的 密 钥 进行 身份 验证 还 有 一 个 弱点 。 如 果 攻 击 者 入 侵 某 个 服务 并 盗 
走 密 铀 ， 整 个 身份 验证 系统 将 遭受 损害 。 

更 好 的 解决 方案 是 使 用 由 公 钥 和 私 钥 组 成 的 非 对 称 密 钥 。 令 牌 发 布 者 使 用 私 钥 来 
签署 令 牌 ,然后 任何 人 都 可 利用 公 钥 来 确认 签名 来 自发 布 者 。 

当然 ， 如 果 攻 击 者 可 获取 私 钥 ， 或 刻意 欺骗 验证 令 牌 的 服务 ， 那 么 系统 依然 会 被 
攻破 。 

但 大 多 数 情况 下 ,可 使 用 公 钥 / 私 钥 对 降低 在 身份 验证 过 程 受到 攻击 的 可 能 性 。 由 
于 身份 验证 微服 务 是 系统 中 唯一 拥有 私 钥 的 地 方 ， 也 便于 给 身份 验证 微服 务 添加 更 多 
安全 措施 ， 如 将 这 种 敏感 的 服务 部 署 在 严格 控制 访问 的 防火 墙 环 境 中 。 

下 面 实践 一 下 如 何 创 建 非 对 称 密 钥 。 


7.2.3 ”基于 证 书 的 X.509 身份 验证 


X.509 标准 (https:/en.wikipedia.org/wiki/X.509) 用 于 保护 Web 应 用 。 每 个 使 用 SSL 
的 站 点 (基于 HTTPS 来 提供 服务 ) 都 在 其 Web 服务 器 上 有 一 个 X.509 证 书 ， 并 用 证 书 
来 实时 地 加 密 和 解密 数据 。 

这 些 证 书 由 CA(Certificate Authority) 颁 发 ， 当 浏览 器 打开 一 个 显示 证 书 的 页 面 时 ， 
必须 从 浏览 器 支持 的 CA 获取 证 书 。 

CA 只 人 允许 数量 有 限 的 受信 任 实体 生成 和 管理 证 书 ， 降 低 了 危害 证 书 的 风险 ，CA 
应 该 独立 于 使 用 证 书 的 公司 。 
因为 任何 人 都 可 从 shell 创建 自 签 名 证 书 ， 所 以 如 果 不 确 定 是 否 该 信任 一 个 证 书 ， 
可 很 容易 地 终止 请 求 。 如 果 证 书 由 一 个 浏览 器 信任 的 CA 颁发 ， 例 如 Lets 
Encrypt(https://letsencrypt.org/)， 那 么 证 书 是 合法 的 。 


@ 提示 : 对 于 我 们 的 微服 务 ， 如 果 拥 有 本 节 介绍 的 架构 中 的 每 一 部 分 ， 使 用 自 

签名 的 证 书 就 可 以 了 。 不 过 ， 如 果 微 服务 需要 向 第 三 方 公开 ， 或 需要 使 用 第 
三 方 的 服务 ， 最 好 依赖 一 个 受信 任 的 CA。Leb s Encrypt 非常 好 用 而 且 免 费 。 
此 项 目 旨 在 确保 Web 的 安全 ， 通 过 扩展 ， 只 要 有 自己 的 域名 就 可 用 它 来 保护 
微服 务 。 


让 我 们 尝试 创建 一 个 自 签名 的 证 书 ， 然 后 分 析 如 何 用 它 给 JWT 令 牌 签名 。 
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在 shell 中 ， 可 使 用 openssl 命令 来 创建 证 书 ， 并 从 证 书 中 提取 公 钥 和 私 钥 对 。 


提示 : 如 果 使 用 最 新 的 macOS 操 作 系统 , 需要 从 brew 安 装 openssl, 因为 openssl 


被 macOS 移 除了 。 
$ openssl req -x509 -newkey rsa:4096 -keyout key.pem -out cert.pem -days 
365 
Generating a 4096 bit RSA private key 
Dense Sistine o akan Se A ++ 
++ 


writing new private key to 'key.pem' 
Enter PEM pass phrase: 
Verifying - Enter PEM pass phrase: 
You are about to be asked to enter information that will be incorporated 
into your certificate request. 
What you are about to enter is what is called a Distinguished Name or a DN. 
There are quite a few fields, but you can leave some blank 
For some fields, there will be a default value, 


If you enter '.', the field will be left blank. 


Country Name (2 letter code) [AU]:FR 

State or Province Name (full name) [Some-State]: 

Locality Name (eg, city) []: 

Organization Name (e.g., company) [Internet Widgits Pty Ltd] :Runnerly 


Organizational Unit Name (eg, section) []: 
Common Name (e.g. server FQDN or YOUR name) [] :Tarek 
Email Address []:tarek@ziade.org 


$ openssl x509 -pubkey -noout -in cert.pem > pubkey.pem 


$ openssl rsa -in key.pem -out privkey.pem 
Enter pass phrase for key.pem: 
writing RSA key 


这 三 个 调用 生成 4 文件 : 
o certpem 文件 包含 证 
o pubkeypem 文件 包含 从 证 书 提取 的 公 钥 ; 
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e keypem 文件 包含 RSA 私 铀 ， 加 密 的 ; 
e privkeypem 文件 包含 RSA 私 钥 ， 非 加 密 的 。 


Gp RSA 代表 Rivest. Shamir 和 Adleman， 这 是 三 个 作者 的 名 字 。RSA 加 密 算法 
生成 加 密 的 键 最 多 有 4096 个 字 节 ， 并 被 认为 是 安全 的 。 


到 此 , 我 们 可 使 用 pubkeypem 和 privkeypem 在 PyJWT 脚本 中 进行 签名 和 验证 令 
牌 的 签名 ， 验 证 过 程 使 用 RSASSA-PKCS1-v1 5 签名 算法 和 SHA-512 哈 希 算法 : 


import jwt 


with open('pubkey.pem') as f: 
PUBKEY = f.read() 


with open('privkey.pem') as f: 
PRIVKEY = f.read() 


def create_token(**data) : 


return jwt.encode (data, PRIVKEY, algorithm='RS512') 


def read_token (token) : 
return jwt.decode (token, PUBKEY) 


token = create_token(some='data', inthe='token') 


print (token) 


read = read_token (token) 


print (read) 
结果 与 此 前 类 似 ， 但 得 到 一 个 更 大 的 令 牌 : 


b'eyJOeXAiOiJKV1QiLCJhbGciOiJSUzUxMiJ9.eyJzb211I1joiZGFOYSIsImludGhl 
IjoidG9rZW4ifQ.VHKP2yO1dCUrS5YAOCZSGXF mesMJNNYCnBHe4mFiPPBDCbMhrI8 
h10vriBaCiN8rVEMcUX04Gc7183w6ga3spyEZONg3-Sv-eld4rPbTqbbmPErrnWPRIH 
9hQMHsMebVO11I910vNmVI3DIEmMV4riqRluJMIFYuy_A7£B2r8IiqgeHBfrsEPWmvw2_tI 
Z3V3dJGU4ZBkn8zdzgfbou_LHc28_dyC32kR2Ec1nsRV3zR£fEjx60cjZmNNFGBOKYZ 
Hun0IIzBqdhOTiRxPF4rgYG30BKJXP3u2uyfBi fNy3Bz4bMPJ8iRRmQleciyFdzDkm7 
J4ASAyz5IOTKHSPOZA-9x6dgacQ9w_JAtmE1H7u8_ES 2TxmvbBLqsXIzghAhG10CL79 
UeSKeXMTjc8DO0Qr IbWmaRCIbPy 9Ad1 1JQxqul 4UnCoUhUQ6PZwD6CEuaZTjKdPvql7n 
_7u1Tj rw7e33 9WC9QZS5DFCzMe2F0TY-kI52-AaNEoRaO80SCwW3E7u-NcStbD019Md 
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X3bxNOFdNvL62BUDqqxind7 TFF7YFX3zTxTul 5Pex2F64YvnhG1CDk337htROt8B9vH 
8CIUWo_2ujkair8zCdd9sfIdssOGFDnawIX2NPGd4vZ1dpwODWwHBaxw0gP8zzcRAsuZ 
7r£NMZeJTH6gB-kMc5UKf26nAc' 

{'some': 'data', 'inthe': 'token'} 


注意 , 需要 为 每 个 请 求 添加 超过 700 字 节 的 数据 , 如 果 要 减少 网 络 开销 , 记 住 “ 基 


于 密 钥 的 JWT 令 牌 技术 ”是 一 个 选项 。 


我 们 已 经 学 习 了 如 何 生 成 JWT 令 牌 ,现在 开始 实现 身份 验证 微服 务 ， 即 


TokenDealer. 


7. 


需要 令 牌 的 服务 接受 请 求 ， 然 后 根据 需要 生成 令 牌 。 令 牌 的 有 效 期 是 1 天 。 


tHe 


IK 


2.4 TokenDealer 微服 务 


构建 身份 验证 微服 务 的 第 一 步 是 实现 CCG 流 所 需 的 一 切 。 对 于 CCG 流 ， 应 用 从 


这 个 服务 将 是 唯一 可 用 私 钥 签名 令 牌 的 服务 ， 并 对 其 他 要 验证 令 牌 的 服务 提供 公 
这 个 服务 也 是 唯一 可 保存 所 有 客户 ID 和 密 钥 的 地 方 。 

一 旦 服务 获取 到 令 牌 ， 就 可 极 大 地 简化 实现 ， 还 可 访问 系统 生态 中 的 任何 服务 。 
通过 令 牌 访问 一 个 服务 时 ， 可 在 本 地 或 调用 TokenDealer 进行 验证 。 如 果 选 择 第 一 


种 方案 ， 将 减少 一 个 网 络 往 返 ， 但 使 用 JWT 令 牌 时 会 增加 CPU 开销 ， 这 种 方案 在 某 
些 场景 存在 隐患。 例如 ， 如果 微服 务 正在 执行 CPU 密集 型 工作 ， 再 添加 检查 令 牌 的 工 


作 


非 


就 需要 选用 有 较 大 CPU 的 服务 器 ， 这 会 增加 一 些 成 本 。 

好 在 ， 有 两 种 选项 可 供 选择 。 

为 实现 我 们 描述 的 一 切 ， 这 个 微服 务 需要 创建 3 个 API: 

© = GET/.well-known/jwks,json: 这 个 API 提供 公 钥 ， 使 用 JSON Web Key 格式 发 
布 ， 这 种 格式 由 RFC 7517(https://tools.ietf.org/htmlrfe7517) 描 述 ， 当 其 他 微服 
务 想 要 验证 令 牌 时 ， 会 调用 这 个 API。 

© POST/oauth/token: 这 个 API 通过 给 定 的 凭证 返回 令 牌 。 OAuth RFC 中 使 用 了 
/oauth 前 级 ， 此 后 ， 添 加 /oauth 前 绥 成 为 一 个 被 广泛 采用 的 标准 。 

e@ POST/verify_token: 这 个 API 返回 令 牌 有 效 性 , 如果 给 定 令 牌 非法 , 则 返回 400 
音 误 。 


使 用 https://github.com/Runnerly/microservice 上 的 微服 务 源 代 码 骨 架 ， 可 创建 一 个 


a 


常 简单 的 Flask blueprint， 其 中 实现 了 这 三 个 API。 


下 面 介 绍 最 重要 的 一 个 API， 即 POST/oauth/token. 
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实现 POST/oauth/token 


对 于 CCG 流 , 为 使 令 牌 的 服务 发 送 POST 请 求 , body 中 会 包含 以 下 字段 的 URL 
编码 : 

o client id: 一 个 字符 串 ， 用 来 唯一 标识 请 求 者 。 

o client secret: 用 来 验证 请 求 者 身份 的 密 钥 。 它 应 该 是 一 个 随机 字符 号 

端 生成 并 注册 在 auth 服务 上 。 

© grant type: 授权 类 型 ， 必 须 是 client credentials. 

为 简化 实现 ， 我 们 设 定 了 一 些 假设 : 

e 在 Python 映射 中 保存 了 密 钥 列表 。 

e client id 是 微服 务 名 。 

o 密 钥 由 binascii.hexlify(os.urandom(16)) 生 成 。 

身份 验证 部 分 只 确保 密 钥 是 合法 的 ， 此 后 服务 会 创建 一 个 令 牌 并 返回 : 


df 


THY 


import time 

from flask import request, current_app, abort, jsonify 
from werkzeug.exceptions import HTTPException 

from flakon import JsonBlueprint 

from flakon.util import error_handling 


import jwt 
home = JsonBlueprint('home', _name ) 


def 400 (desc): 
exc = HTTPException() 
exc.code = 400 
exc.description = desc 


return error handling (exc) 
_SECRETS = {'strava': 'f0fdeb1£1584£d5431c4250b2e859457"} 


def is_authorized_app(client_id, client_secret) : 


return compare digest (_SECRETS.get (client_id), client_secret) 


@home. route ('/oauth/token', methods=['POST']) 
def create_token(): 
key = current_app.config['priv_key'] 


try: 
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data = request.form 


if data.get('grant_type') != 'client_credentials': 


return _400('Wrong grant_type') 


client_id = data.get('client_id') 


client_secret = data.get ('client_secret') 


aud = data.get('audience', '') 


if not is_authorized_app(client_id, client_secret) : 


return abort (401) 


now = int (time.time()) 


token = { 'iss': 'https://tokendealer.example.com', 


"aud': aud, 
tiat": now, 


"exp': now + 3600 * 24} 


token = jwt.encode(token, key, algorithm='RS512"') 


return {'access_token': token.decode ("ut f8') } 


except Exception as e: 
return _400(str(e)) 


create token0 视 图 使 用 私 钥 ， 私 钥 放 在 应 用 配置 的 priv_ key Fo 


compare digestO 函 数 用 于 比较 两 个 密 钥 ， 以 避免 来 自 客户 端的 时 序 攻击 ， 时 
序 攻击 会 一 次 尝试 猜测 client secret 的 一 个 字符 。 该 函数 等 同 于 一 操作 符 。 
文档 中 给 出 的 定义 如 下 : 此 函数 使 用 一 种 设计 方法 ， 通 过 避免 基于 内 容 的 短 
路 行为 来 防范 时 序 分 析 ， 从 而 更 适合 密码 系统 。 


上 上面 代码 里 的 blueprint 就 是 我 们 需要 的 全 部 ， 其 中 一 对 key 用 来 运行 微服 务 ， 这 
个 微服 务 负责 生成 独立 的 JWT 令 牌 ， 令 牌 供 所 有 需要 身份 验证 的 微服 务 使 用 。 


可 在 https://github.com/Runnerly/tokendealer 中 找到 TokenDealer 微服 务 的 完整 
源 代码 ， 在 其 中 能 找到 其 他 两 个 视图 是 如 何 实现 的 。 


微服 务 可 提供 与 生成 令 牌 相关 的 更 多 功能 。 例 如 ， 管 理 范围 的 能 力 ， 确 保 微 服务 


A 不 允许 生成 一 个 供 B 使 用 的 令 牌 ; 或 管理 一 个 服务 


令 牌 


白 名 单 ， 授 权 这 些 服务 请 求 某 些 
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对 于 基于 令 牌 的 身份 验证 系统 ， 我 们 实现 的 模式 在 微服 务 环境 中 仅 是 基础 ， 当 然 
你 也 可 自行 开发 实现 模式 ， 不 过 对 当前 Runnerly 应 用 来 说 ， 已 经 足够 好 了 。 
在 图 7-2 中 , 训练 计划 、 数 据 服务 和 竞赛 都 可 使 用 JWT 令 牌 来 限制 对 终端 的 访问 : 


TokenDealer 


Or OF Ô cookie 访 问 


wa 
微服 务 一 微服 务 


图 7-2 使 用 JWT 令 牌 来 限制 对 终端 的 访问 


图 中 的 JWT 访 问 表示 : 服务 需要 一 个 JWT 令 牌 。 这 些 服务 可 通过 调用 TokenDealer 
来 验证 令 牌 。 图 中 的 Flask 应 用 需要 以 用 户 身 份 从 TokenDealer 获 取 令 牌 (图 中 没有 显示 
这 个 链接 )。 

现在 已 经 实现 了 CCG 的 TokenDealer 服务 ， 下 一 节 介绍 服务 如 何 使 用 它 。 


7.2.5 ”使 用 TokenDealer 


在 Runnerly F, 数据 服务 到 Strava 职 程 的 连接 @) 是 一 个 需要 进行 身份 验证 的 好 例 
子 。 通 过 严格 限制 授权 的 数据 服务 来 添加 跑步 活动 ， 如 图 7-3 所 示 。 

要 给 这 个 链接 添加 身份 验证 ， 可 通过 下 列 4 个 步骤 完成 : 

(1) TokenDealer 为 Strava 职 程 保存 client id 和 client secret 对 ， 然 后 分 享 给 Strava 
职 程 的 开发 者 GD。 

(2) Strava 职 程 使 用 client id 和 client_secret 向 TokenDealer 请 求 令 牌 @)。 

(3) Strava 职 程 在 每 次 向 Data Service 发 送 请 求 时 都 带 令 牌 @)。 
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oo gee 


TokenDealer 


Or Or 


A BA 


client_secret O 


client_id 


图 7-3 通过 严格 限制 授权 的 数据 服务 来 添加 跑步 活动 


(4) 数据 服务 通过 调用 TokenDealer 来 验证 令 牌 ， 或 执行 一 个 本 地 JWT 验证 。 


Or 


= client_secret 


在 完整 实现 中 ， 第 一 步 是 半自动 的 。 通 常 在 身份 验证 服务 的 管理 页 面 生成 客户 密 


钥 。 这 个 密 钥 供 Strava 微服 务 的 开发 者 使 用 。 


之 后 ， 服 务 可 每 次 在 需要 时 获取 一 个 新 令 牌 (因为 是 第 一 次 获取 , 或 之 前 获取 的 令 


牌 过 期 了 )， 在 请 求 数据 服务 时 ， 将 令 牌 放 在 身份 验证 头 信息 中 。 


下 面 列举 这 样 一 个 例子 ， 使 用 了 requests 库 ( 示 例 中 有 一 个 运行 在 localhost:5000 


上 的 TokenDealer， 还 有 一 个 运行 在 localhost: 5001 上 的 数据 服务 ): 


import requests 


server = 'http://localhost:5000' 
secret = 'f0fdeb1f£1584£d5431c4250b2e859457' 


data = [('client_id', 'strava'), 
("client secret", secret), 
('audience', 'runnerly.io'), 


('grant_type', 'client_credentials') ] 


def get_token(): 


headers = {'Content-Type': 'application/x-www-form-urlencoded' } 


url = server + '/oauth/token' 
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resp = requests .post (url, data=data, headers=headers) 


return resp.json() ['access_token"] 


@ 注意 ，/oauth/token 接受 的 是 加 密 数据 而 非 JSON， 这 是 一 个 标准 化 实现 。 


当代 码 调用 Data Service 时 , get token0 函 数 获取 一 个 令 牌 , 令 牌 用 在 Authorization 
头 信息 中 。 


_TOKEN = None 


def get_auth_header (new=False) : 
global _TOKEN 
if TOKEN is None or new: 
_TOKEN = get_token() 
return "Bearer ' + TOKEN 
_dataservice = '"http://localhost:5001' 
def _call_service (endpoint, token): 
# not using session etc, to simplify the reading :) 
return requests.get (_dataservice + '/' + endpoint, 


headers={'Authorization': token}) 
def call_data_service (endpoint) : 


token = get_auth_header () 
resp = _call_service(endpoint, token) 


if resp.status_code == 401: 


# the token might be revoked, let's try with a fresh one 


token = get_auth_header (new=True) 
resp = _call_service (endpoint, token) 
return resp 
如 果 调 用 Data Service 导致 401 响应 ，call_data_service0 函 数 将 尝试 获取 一 个 新 
Ati. 


“ 当 401 时 刷新 令 牌 ” 模 式 可 在 所 有 微服 务 中 用 来 自动 生成 令 牌 。 
这 里 主要 介绍 服务 之 间 的 身份 验证 。 可 在 GitHub 代码 库 的 Runnerly 项 目 中 找到 
基于 JWT 身份 验证 的 完整 实现 ， 并 将 其 作为 身份 验证 流程 的 基础 。 


下 一 节 将 介绍 保护 Web 服务 的 另 一 个 重要 方法 : Web 应 用 防火 墙 。 


159 


Python 微服 务 开发 


7.3 Web 应 用 防火 墙 


将 HTTP 端点 向 其 他 人 公开 时 , 希望 调用 者 能 按期 望 行事 。 每 个 HTTP 会 话 都 应 


遵循 


于 攻 


服务 中 设 定 的 方案 。 


期 望 的 行为 应 该 是 返回 一 个 4xx 响应 ， 


u 


(AVES, RR. H 
服务 ， 


[0 果 调用 者 有 缺陷 或 只 是 没有 正确 地 调用 


6 者 发 送 的 恶意 请 求 也 应 该 如 此 对 待 。 任 何 意外 行为 都 应 该 被 驳回 。 
OWASP(Open Web Application Security Project， 开 源 Web 应 用 安全 项 目 ， 


并 向 客户 端 解释 请 求 被 拒绝 的 原因 。 对 


https://www.owasp.org) 是 一 个 优秀 资源 ， 有 助 于 了 解 如 何 保护 Web 应 用 免 受 不 良 行为 
的 侵害 。 甚 至 为 ModSecurity 工具 包 中 的 Web 应 用 框架 提供 一 组 规则 ， 以 避免 大 部 分 
攻击 。 
在 基于 微服 务 的 应 用 中 ， 任 何 发 布 到 网 上 的 东西 都 可 能 受到 攻击 。 但 不 同 于 单 体 
， 大 部 分 系统 并 非 直 接 通 过 HTML 用 户 交互 界面 或 公开 的 API 与 用 户 打交道 , 这 


点 用 


务 器 


Python 框架 有 内 置 的 保护 机 制 来 避免 这 些 攻 


小 了 潜在 攻击 的 范围 。 


本 节 将 介绍 如 何 给 基于 ISON 的 微服 务 提供 基本 保护 。 


在 此 之 前 ， 先 介绍 一 些 最 常见 的 攻击 : 


e SQL 注入 : 攻击 者 在 请 求 中 发 送 原始 SQL 语句 。 如 果 服 务 器 使 用 某 些 请 求 


内 容 (通常 是 参数 ) 来 生成 SQL 查询 ， 


可 能 在 数据 库 上 执行 攻击 者 的 请 求 。 


在 Python 中 ， 如 果 使 用 SQLAlchemy 并 避免 使 用 原始 语句 ， 将 是 安全 的 。 
如 果 使 用 原始 SQL， 要 确保 每 个 变量 都 正确 地 加 了 引号 。 稍 后 将 继续 讨论 这 


个 话题 。 


e 跨 站 点 脚本 (XSS): 这 个 攻击 只 发 生 在 显示 HTML 的 Web 页 面 上 。 攻 击 者 使 


站 上 执行 操作 。 


用 一 些 查询 属性 尝试 在 页 面 上 注入 HTML 片段 ， 以 诱 使 用 户 认为 是 在 合法 网 


e 。 跨 站 点 请 求 伪造 (XSRF/CSRF): 此 攻击 重用 用 户 在 其 他 网 站 的 凭证 来 攻击 服 
务 。 典 型 的 CSRF 攻击 发 生 在 发 起 POST 请 求 时 , 例如 ,一 个 恶意 站 点 给 用 户 


显示 一 个 链接 ， 欺 骗 用 户 在 站 点 上 使 用 已 存在 的 凭证 发 起 POST 请 求 。 


其 他 很 多 攻击 都 瞄准 PHP 系统 ， 因 为 很 容易 就 能 找到 很 多 PHP 应 用 ， 当 调用 服 
时 ， 这 些 应 用 可 使 用 无 效 的 用 户 输入 。 诸 如 本 地 文件 包含 (Local File Inclusion, 

LFD、 远 程 文件 包含 (Remote File Inclusion，RFD 或 远程 代码 执行 Remote Code 
Execution，RCE) 是 常见 的 攻击 方式 ; 利用 客户 端 输入 或 外 泄 的 服务 器 文件 ， 这 些 攻击 
会 欺骗 服务 器 执行 一 些 操作 。 当 然 ， 这 些 攻击 也 发 生 在 Python 应 用 中 , 但 众所周知 的 


ae 


Wo 
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无 论 是 不 是 恶意 客户 端 ， 坏 请 求 并 非 始 终 采 用 滥用 系统 的 方式 。 它 可 通过 发 送 合 
法 请 求 来 损害 系统 ， 比 如 由 于 所 有 资源 都 用 来 处 理 攻击 者 的 请 求 而 导致 拒绝 服务 
(Denial of Service，DoS)。 当 客户 端 有 重 发 功能 并 自动 重新 请 求 同 一 API 时 ， 分 布 式 系 
统 中 有 时 会 发 生 这 个 问题 。 如 果 客 户 端 没 有 对 请 求 进行 节 流 ， 这 些 合法 的 客户 端 最 终 
可 能 导致 服务 过 载 。 

通常 很 难 在 服务 端 添 加 保护 来 防范 此 类 客户 端 ， 要 保护 好 整个 微服 务 堆 ， 还 有 很 

本 节 重 点 介绍 如 何 创建 一 个 基本 WAF, 它 将 明确 拒绝 对 服务 提出 太 多 请 求 的 客户 端 。 


本 节 并 非 创建 一 个 完整 的 WAF， 而 是 引导 你 很 好 地 理解 如 何 实现 和 使 用 
WAF。 不 过 ， 对 基于 ISON 的 微服 务 来 说 ， 使 用 诸如 ModSecurity 的 功能 完 
备 的 WAF 有 些小 题 大 作 了 。 


可 在 Flask 微服 务 中 构建 自己 的 WAF， 但 如 果 所 有 流量 都 经 过 它 ， 会 增加 很 多 开 
销 。 一 个 更 好 的 解决 方案 是 直接 依靠 Web 服务 器 。 


OpenResty-Lua 和 nginx 


OpenResty(http:/openresty'org/len/) 是 一 个 内 典 了 Lua(http://www.lua.org/) 解 释 器 的 
nginx 分 发 器 ，Lua 可 用 来 编写 Web 服务 器 脚本 。 

Lua 是 支持 动态 类 型 的 卓越 编程 语言 ， 它 有 一 个 速度 极 快 的 轻 量 级 解释 器 。 该 语 
言 提供 一 整套 功能 ， 并 具有 内 置 的 异步 功能 。 可 使 用 普通 Lua 脚本 编写 协同 程序 。 
在 Python 开发 者 眼中 ，Lua 非常 Python 化 , 一 旦 熟悉 基本 语法 ， 几 小 时 内 就 可 开 
始 编写 脚本 。 它 有 函数 、 类 以 及 一 个 你 很 熟悉 的 标准 库 。 
如 果 安 装 了 Lua(http://www.lua.org/start.html)， 就 可 使 用 Lua Read Eval Print 
Loop(REPL) 来 编程 ， 它 与 Python 的 操作 方式 完全 一 样 : 


$ lua 

Lua 5.1.5 Copyright (C) 1994-2012 Lua.org, PUC-Rio 
> io.write ("Hello world\n") 

Hello world 

> mytable = {} 

> mytable["user"] = "tarek" 

> = mytable["user"] 

tarek 

> = string.upper (mytable["user"]) 

TAREK 
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OH 要 探索 Lua 语言 ， 可 访问 http://www.lua.org/docs.html 了 解 更 多 相关 信息 。 


Lua 通常 作为 一 种 语言 选项 ， 被 嵌入 编译 的 应 用 中 。 它 对 占用 的 内 存 很 少 ， 并 且 允 
许 添加 速度 很 快 的 动态 脚本 。 这 就 是 在 OpenResty 中 使 用 Lua 所 发 生 的 事情 。 不 同 于 
在 构建 nginx 模块 时 需要 将 脚本 和 nginx 一 起 编译 ， 你 可 使 用 Lua 脚本 扩展 Web 服务 
器 ， 然 后 直接 和 OpenResty 一 起 部 署 。 

从 nginx 配置 中 调用 某 些 Lua 代码 时 ，OpenResty 使 用 的 LuaJIT (http://luajit.org/) 
解释 器 将 高 效 地 运行 它们 ， 并 不 比 nginx 代码 慢 。 一 些 性 能 基准 对 比 实验 发 现 ， 某 些 
情况 下 Lua 可 能 比 C 或 C++ 更 快 (请 参阅 http://luajit.org/performance.html). 

在 nginx 中 添加 的 函数 协同 程序 将 在 nginx 中 异步 运行 ， 因 此 当 服 务 器 收 到 大 量 
并 发 请 求 时 ， 服 务 器 的 开销 也 很 小 ， 这 正 是 我 们 想 要 的 WAF。 

OpenResty 作为 Docker 镜像 和 一 些 Linux 版 本 的 包 ， 也 可 在 本 地 编译 ， 相 关内 容 
请 参考 http://openresty.org/en/installation.html。 在 macOS 上 , 可 使 用 Brew 和 brew install 
openresty 命令 。 

一 旦 OpenResty 安装 完成 ， 将 获得 openresty 命令 ， 可 像 nginx 一 样 用 它 为 应 用 提 
供 服 务 。 

下 例 中 ，nginx 配置 将 代理 对 Flask 应 用 的 调用 ， 该 应 用 运行 在 5000 端口 上 : 


daemon off; 
worker processes 1; 
pid openresty.pid; 
error_log /dev/stdout info; 
events { 
worker_connections 1024; 
} 
http { 
include mime.types; 
default_type application/octet-stream; 
sendfile on; 
keepalive timeout 65; 
access_log /dev/stdout; 
server { 
listen 8888; 
server name localhost; 
location / { 


proxy pass http://localhost:5000; 


proxy set header Host $host; 
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proxy _set_header X-Real-IP $remote_addr; 


proxy set header X-Forwarded-For $proxy_add_ x forwarded for; 


} 


此 配置 可 与 openresty 命令 行 一 起 使 用 , 将 在 端口 8888 上 运行 一 个 前 台 进程 (守护 


进程 )， 它 会 代理 所 有 请 求 ， 然 后 传 给 运行 在 5000 端口 


$ openresty -c resty.conf 


2017/07/14 12:10:12 [notice] 49704#524185: 


method 
2017/07/14 
2017/07/14 
(clang-800 
2017/07/14 
2017/07/14 
2017/07/14 

1042560 
2017/07/14 
2017/07/14 


12:10: 
12:10: 
-0.38) 
12720: 
12:10: 
12:70: 


12:10: 
12:10: 


12 
12 


12 
12 
12 


12 
12 


[notice] 49704#524185: 
[notice] 497044524185: 


[notice] 497044524185: 
[notice] 49704#524185: 
[notice] 49704#524185: 


[notice] 49704#524185: 
[notice] 49704#524185: 


7168 : 9223372036854775807 


2017/07/14 12:10:12 [notice] 49704#524185: 


的 Flask 应 用 。 


using the "kqueue" event 


openresty/1.11.2.3 
built by clang 8.0.0 


OS: Darwin 16.6.0 
hw.ncpu: 4 


net.inet.tcp.sendspace: 


kern.ipc.somaxconn: 2048 
getrlimit (RLIMIT_NOFILE) : 


start worker processes 


2017/07/14 12:10:12 [notice] 49704#524185: start worker process 49705 


注意 ， 此 配置 也 可 在 普通 nginx 服务 器 中 使 用 ， 因 为 还 没有 使 用 任何 Lua 脚本 。 
这 就 是 OpenResty 的 好 处 : 它 是 一 个 插入 式 nginx 替代 品 ， 可 运行 现 有 配置 文件 。 


@ 本 节 的 代码 和 配置 可 在 https://github.com/Runnerly/waf 上 找到 。 


当 请 求 到 达 时 ， 可 在 不 同时 刻 调用 Lua， 两 个 相关 项 如 下 : 

e access_by_lua_block: 在 生成 响应 前 ， 对 每 个 传 入 的 请 求 都 调用 此 项 。 这 是 可 
在 WAF 中 构建 访问 规则 的 地 方 。 

è content by_lua block: 使 用 Lua 生成 响应 。 

下 一 节 将 介绍 如 何 对 传 入 请 求 进行 速率 限制 。 
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1. 速率 和 并 发 限制 


速率 限制 指 统计 服务 器 在 一 段 时 间 内 接受 的 请 求 数量 ， 并 在 达到 限制 时 拒绝 新 
请 求 。 
并 发 限制 指 统计 Web 服务 器 向 同一 远程 用 户 提供 的 并 发 请 求 数量 , 并 在 达到 定义 
的 阐 值 时 开始 拒绝 新 请 求 。 由 于 许多 请 求 可 同时 到 达 服 务 器 ， 并 发 限制 器 的 阔 值 应 当 
留 较 小 的 余 量 。 

两 个 限制 都 用 相同 的 技术 实现 。 下 面 介绍 如 何 构 建 一 个 并 发 限制 器 。 

OpenResty 有 一 个 使 用 Lua 编 写 的 速率 限制 库 lua-resty-limit-traffic(https://github.com/ 
openresty/lua-resty-limit-traffic)， 可 在 acces_ by lua block 部 分 使 用 它 。 

这 个 功能 使 用 Lua Shared Dict， 这 是 同一 个 进程 内 所 有 nginx 工作 器 都 共享 的 内 
存 映射 。 使 用 内 存 字典 意味 着 速率 限制 将 在 进程 级 别 工作 。 


提示 : 因为 每 个 服务 节点 通常 部 署 一 个 nginx， 所 以 速率 限制 将 发 生 在 每 个 
Web 服务 器 上 。 因此， 如 果 给 同一 微服 务 部 署 多 个 节点 来 实现 负载 均衡 ， 就 
必须 在 设置 阔 值 时 考虑 这 一 点 。 
下 例 添加 了 lua shared dict 定义 和 access_by_lua_block 部 分 来 激活 速率 限制 。 注 
意 ， 本 示例 是 项 目 文档 中 示例 的 简化 版 本 : 


http { 
lua shared dict my limit req store 100m; 


server { 
access by lua block { 
local limit req = require "resty.limit.req" 
local lim, err = limit_req.new("my limit req store",200, 100) 
local key = ngx.var.binary remote_addr 
local delay, err = lim:incoming(key, true) 
if not delay then 
if err == "rejected" then 
return ngx.exit (503) 
end 
end 
if delay >= 0.001 then 
ngx.sleep (delay) 
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} 
proxy pass ... 
} 
} 


access_by lua block 部 分 可 当成 Lua 函数 ， 其 中 可 使 用 OpenResty 公开 的 一 些 变 
量 和 函数 。 例 如 ，ngx.var 是 存放 所 有 nginx 变量 的 表 ，ngx.exit0 是 可 直接 给 客户 端 返 
回响 应 的 函数 。 在 本 例 中 ， 由 于 速率 限制 而 拒绝 一 个 调用 时 会 返回 503 响应 。 

每 次 当 请 求 到 达 服 务 器 时 , 库 都 将 my_limit req store 字典 传 给 restylimitreq 函数 ， 
然后 用 包含 客户 端 地 址 的 binary remote addr 值 调用 incoming0 函 数 。 

incoming0 函 数 将 使 用 共享 字典 为 每 个 远程 地 址 维护 激活 连接 个 数 , 并 在 该 数字 达 
到 闵 值 时 送 回 一 个 拒绝 值 ， 例 如 ， 当 超过 300 个 并 发 请 求 时 拒绝 请 求 。 

如 果 连 接 被 接受 ，incoming0 函 数 会 送 回 一 个 延迟 值 。Lua 会 使 用 这 个 延迟 值 和 异 
步 的 ngx.sleep0 函 数 挂 起 请 求 。 远 程 客户 端 线程 数 未 达到 阔 值 200 时 ， 延 迟 为 0， 远程 
客户 端 线程 数 在 200~300 范围 时 会 出 现 短 暂 延 迟 ， 因 此 服务 器 有 机 会 取消 所 有 在 栈 内 
等 待 的 请 求 。 

这 种 优雅 的 设计 非常 高 效 ， 可 避免 服务 被 许多 请 求 淹没 。 设 置 上 限 也 是 一 个 好 方 
法 ， 可 避免 服务 器 到 达 你 知道 的 衣 溃 点 。 

例如 ， 如 果 一 些 基准 确定 服务 在 开始 崩溃 前 无 法 同时 支持 超过 100 个 请 求 ， 则 可 
设置 速率 限制 ; 让 nginx 拒绝 请 求 , 总 比 让 Flask 微服 务 继续 堆积 错误 日 志和 仅 为 处 理 
拒绝 执行 无 意义 的 CPU 计算 要 好 。 


提示 : 本 例 中 计算 速率 的 关键 是 请 求 的 远程 地 址 头 。 如 果 nginx 服务 器 本 身 
位 于 代理 后 面 ， 则 使 用 的 头 信息 务必 包含 实际 远程 地 址 。 否 则 ， 将 限制 单个 
远程 客户 端 (代理 服务 器 ) 的 速率 。 这 里 ， 远 程 地 址 通常 在 X-Forwarded-For 的 
头 信息 中 。 
lua-resty-wafthttps://github.com/pOpr0ckS/lua-resty-waf) 项 目 能 完成 与 lua-resty-limit- 
traffic 同样 多 的 功能 ， 但 提供 了 更 多 保护 。 还 能 读 取 ModSecurity 规则 文件 ， 因 此 , 在 
不 必 使 用 ModSecurity 本 身 的 情况 下 ， 可 使 用 OWASP 项 目 中 的 规则 文件 。 


2. 其 他 OpenResty 功能 


OpenResty 附带 许多 Lua 脚本 ， 可 帮助 增强 nginx。 有 些 开发 人 员 甚 至 使 用 脚本 
来 直接 访问 数据 。 
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如 果 阅 读 http://openresty.org/en/components.html 的 组 件 说 明 页 面 ， 可 找到 一 些 有 
工具 ， 这 些 工具 使 nginx 与 数据 库 、 缓 存 服务 器 等 进行 交互 。 还 有 一 个 网 站 专门 向 
社区 发 布 OpenResty 组 件 ， 网 址 是 https://opm.openresty.org/。 

如 果 在 Flask 微服 务 的 前 面 使 用 OpenResty， 可 能 还 有 其 他 使 用 场景 ， 可 让 你 将 本 
来 在 Flask 应 用 中 的 代码 转 成 OpenResty 中 的 Lua 代码 。 这 样 做 的 目的 不 是 将 应 用 逻 
辑 放 到 OpenResty 中 ， 而 是 利用 Web 服务 器 在 调用 Flask 应 用 前 后 完成 一 些 事情 。 

例如 ， 如 果 使 用 Redis 或 Memcache 服务 器 来 缓存 GET 资源 ， 可 直接 用 Lua 调用 
它们 ， 添 加 或 重 取 一 个 端点 的 缓存 版 本 。srcache-nginx-module(https://github.com/ 
openresty/srcache-nginx-module) 就 是 一 个 实现 了 上 述 功能 的 工具 ， 由 于 使 用 了 缓存 ， 所 
以 减少 了 直接 发 给 Flask 应 用 的 GET 调用 。 

总 结 一 下 本 节 关 于 Web 应 用 防火 墙 讨论 的 内 容 ，OpenResty 是 一 个 强大 的 nginx 
分 发 ， 可 用 于 创建 简单 的 WAF 来 保护 微服 务 ， 它 还 提供 一 些 防火 墙 之 上 的 能 力 。 事 
实 上 ， 如 果 你 才 开 始 用 OpenResty 构建 微服 务 ， 要 感谢 Lua， 它 为 你 开启 全 新 的 世界 。 

下 一 节 将 重点 讨论 可 在 代码 级 别 上 执行 哪些 操作 来 保护 微服 务 。 


7.4 保护 代码 


上 一 节 介 绍 了 如 何 设置 一 个 简单 WAF。 虽然 添加 的 速率 限制 功能 十 分 有 用 , 但 只 
能 避免 一 种 可 能 的 攻击 。 一 旦 你 向 世界 公开 应 用 ， 就 可 能 遭受 各 种 攻击 ， 你 的 代码 需 
要 抵御 这 些 威胁 。 

安全 代码 背后 的 思想 很 简单 ， 但 在 实践 中 却 难 做 好 。 有 以 下 两 项 基本 原则 : 

e 在 外 部 的 每 个 请 求 操作 应 用 和 数据 前 ， 都 应 该 审慎 地 评估 它们 。 

e 应 用 在 系统 上 执行 的 所 有 操作 都 应 该 是 定义 明确 且 范 围 有 限 的 。 

下 面 看 看 如 何 遵循 这 两 个 原则 进行 编码 实践。 


7.4.1 断言 传 入 的 数据 


第 一 个 原则 是 断言 传 入 的 数据 ， 这 意味 着 在 不 确定 会 产生 什么 影响 时 ， 不 应 该 盲 
目 执行 传 入 请 求 。 

例如 ， 如 果 有 一 个 AP 将 让 调用 者 删除 数据 库 的 一 行 ， 就 需要 明确 是 否 允 许 这 个 
调用 者 这 样 做 。 这 就 是 前 面 添加 身份 验证 和 授权 的 原因 。 

还 有 其 他 方法 可 侵入 。 例 如 ， 如 果 有 一 个 Flask 应 用 从 传 入 的 请 求 中 抓 取 JSON 
数据 ， 然 后 将 数据 推送 到 数据 库 ， 就 应 该 校 验 传 入 的 请 求 中 是 否 含有 期 望 的 数据 ， 而 
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不 是 将 数据 盲目 地 传 给 数据 库 后 台 。 因 此 ， 使 用 Swagger 定义 数据 接口 并 用 这 个 定义 
校 验 传 入 的 数据 是 很 有 意义 的 。 


要 注 


微服 务 通常 使 用 ISON 格式 , 但 如 果 使 用 模板 方式 , 这 就 是 另 一 个 需要 小 心 之 处 ， 
E 意 模板 是 如 何 处 理 变量 的 。 


当 模 板 讶 目 执行 一 些 Python 语句 时 ， 一 种 可 能 的 攻击 是 服务 器 端 模板 注入 


(Server-Side Template Injection). 2016 年 ， 在 基于 Jinja2 模板 的 Uber 网 站 上 发 现 了 这 


样 一 个 注入 漏洞 :漏洞 在 执行 模板 之 前 已 完成 了 原始 格式 化 。 


代码 类 似 于 下 面 这 个 小 应 用 : 


from flask import Flask, request, render template string 
app = Flask( name ) 
SECRET = 'oh no!" 


_TEMPLATE = """\ 
Hello %s 


Welcome to my API! 


won 


class Extra (object) : 
def init (self, data): 
self.data = data 


@app.route('/') 

def my_microservice(): 
user_id = request.args.get('user_id', 'Anynomous') 
tmpl = TEMPLATE % user id 


return render template _string(tmpl, extra=Extra('something') ) 


由 于 使 用 原始 %s 在 模板 上 进行 预 格式 化 处 理 , 这 个 视图 在 应 用 中 产生 了 一 个 巨大 


的 安全 漏洞 ， 因 为 它 允 许 攻击 者 在 Jinja 脚本 执行 前 注入 代码 。 


[ 


在 下 例 中 ，user id 变量 发 生 了 安全 攻击 ， 它 从 模块 中 读 取 全 局 变量 SECRET: 


http://localhost:5000/?user id={{extra._ class_ ._init ._globals 
"SECRET"] }} 
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Es 


此 , 当 显 示 视 图 时 避免 手工 格式 化 非常 重要 。 如 果 要 评估 模板 中 不 信任 的 代码 ， 
可 使 用 Jinja 沙 盒 ， 请 参考 http://jinja.pocoo.org/docs/latest/sandbox/。 对 于 正在 评估 的 对 
象 ， 此 沙 盒 将 拒绝 任何 对 其 方法 和 属性 的 访问 。 例 如 ， 如 果 要 在 模板 中 传递 可 调用 的 
对 象 ， 要 确保 诸如 _class ”的 属性 是 不 能 使 用 的 。 

不 过 ， 由 于 语言 的 特性 ， 很 难 正确 配置 Python 沙 盒 。 很 容易 误 配置 一 个 沙 盒 ， 或 
者 沙 盒 本 身 可 能 被 语言 的 新 版 本 破坏 。 最 安全 的 方法 是 避免 同时 评估 不 受信 任 的 代码 ， 
并 使 模板 不 直接 依赖 于 传 入 的 数据 。 

另 一 个 常 发 生 注入 攻击 的 地 方 是 SQL 语句 。 如 果 某 些 SQL 查询 是 用 原始 SQL 语 
句 生成 的 ， 则 会 将 应 用 暴露 在 SQL 注入 漏洞 下 。 

在 下 例 中 , 一 个 使 用 用 户 D 作为 查询 参数 的 简单 select 查询 可 被 注入 额外 的 SQL 
语句 ， 如 insert 语句 。 这 样 ， 攻 击 者 很 容易 就 能 侵入 数据 库 服务 器 : 


import pymysql 
connection = pymysql.connect (host='localhost', db='book') 


def get_user (user_id): 
query = 'select * from user where id = %s' 
with connection.cursor() as cursor: 
cursor .execute (query % user_id) 
result = cursor.fetchone () 


return result 


extra_query = """\ 
insert into user (id, firstname, lastname, password) 


values (999, 'pnwd', 'yup', 'somehashedpassword') 


wen 


# this call will get the user, but also add a new user! 


get_user("'1'; %s" % extra_query) 


通过 给 原始 SQL 查询 的 参数 值 加 引号 ， 就 可 防止 这 个 漏洞 。 在 PyMySQL 中 , 通 
过 参数 来 传递 值 就 能 避免 这 个 问题 : 


def get_user (user_id): 
query = 'select * from user where id = %s' 
with connection.cursor() as cursor: 


cursor.execute (query, (user_id, )) 
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result = cursor.fetchone () 


return result 


每 个 数据 的 工具 库 都 有 这 个 功能 。 因 此 ， 只 要 在 构建 原始 SQL 时 正确 使 用 这 些 
工具 库 就 足够 了 。 

预防 重 定向 漏洞 也 使 用 相同 的 方式 。 一 种 常见 错误 是 ， 假 定 调用 者 会 被 重 定向 到 
一 个 内 部 页 面 ， 并 使 用 普通 的 URL 作为 重 定向 的 地 址 ， 为 此 创建 一 个 登录 视图 : 


@app. route ('/login') 

def login(): 
from_url = request.args.get('from_url', '/') 
# do some authentication 


return redirect (from url) 


这 个 视图 可 将 调用 者 重 定向 到 任何 页 面 ， 在 登录 过 程 中 这 将 是 明显 的 威胁 。 调 用 
redirect0 时 ， 使 用 url for0 函 数 是 避免 空 字符 串 的 好 方式 ，url_for0 函 数 将 在 应 用 领域 
创建 一 个 链接 。 

有 时 需要 重 定向 到 第 三 方 ， 将 不 能 使 用 url for0 和 redirect0 函 数 了 ， 它 们 可 能 将 
客户 送 到 不 想 去 的 地 方 。 

一 个 解决 方案 是 创建 一 个 应 用 允许 重 定向 的 第 三 方 域名 列表 作为 白 名 单 ， 确 保 任 
何 通过 应 用 或 第 三 方 库 完成 的 重 定向 都 用 这 个 白 名 单 进行 检查 。 

使 用 after requestO 钩 子 可 完成 以 上 解决 方案 ， 当 Flask 发 送 响 应 时 ， 会 调用 这 个 
函数 。 如 果 应 用 尝试 返回 302， 你 可 根据 给 定 的 域名 和 端口 列表 来 检查 地 址 是 否 安全 : 


from flask import make _ response 


from urllib.parse import urlparse 


# domain:port 
SAFE DOMAINS = ['github.com:443', 'ziade.org:443"] 


@app.after_request 
def check_redirect (response) : 
if response.status_code != 302: 
return response 
url = urlparse (response. location) 


netloc = url.netloc 


if url.scheme == 'http' and not netloc.endswith(':80'): 
netloc += ':80' 
if url.scheme == 'https' and not netloc.endswith(':443"'): 
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netloc += ":443' 


if netloc not in SAFE DOMAINS: 
# not using abort() here or it'll break the hook 
return make response ('Forbidden', 403) 


return response 


总 之 ， 对 于 传 入 的 数据 ， 应 该 始终 将 它们 视 为 可 能 对 系统 发 起 注入 攻击 的 威胁 。 


74.2 ”限制 应 用 的 范围 


即使 你 在 保护 应 用 上 已 经 做 得 很 好 ， 传 入 数据 不 会 造成 应 用 的 不 良 行为 ， 也 还 应 
该 确保 应 用 本 身 无 法 损害 微服 务 生态 。 

如 果 微 服务 被 授权 与 其 他 微服 务 进 行 交 互 ， 应 该 对 这 些 交 互 进行 身份 验证 ， 还 要 
限制 到 最 小 可 用 级 别 。 换 言 之 ， 如 果 一 个 微服 务 正 向 其 他 微服 务 发 起 读 取 调用 ， 它 就 
不 能 执行 任何 POST 调用 ， 并 限制 成 只 读 。 

可 在 JWT 令 牌 上 定义 角色 (如 读 / 写 ) 来 限制 请 求 范围 ， 在 令 牌 的 permissions 或 
scope 键 下 添加 相关 信息 。 例 如 ， 当 POST 请 求 使 用 的 令 牌 只 有 读 权限 时 ， 目 标 微服 务 
可 拒绝 请 求 。 

这 就 是 给 一 个 应 用 授予 访问 GitHub 账户 权限 或 Android 手机 权限 时 发 生 的 事情 。 
会 显示 应 用 要 做 的 详细 清单 ， 可 同意 或 拒绝 这 些 访问 权限 。 

如 果 要 控制 整个 微服 务 生 态 ， 还 可 在 系统 级 别 使 用 严格 的 防火 墙 规则 ， 限 制 与 每 
个 微服 务 交 互 的 IP 白 名 单 ， 但 这 种 设置 很 大 程度 上 取决 于 在 哪里 部 署 应 用 。 在 
AWS(Amazon Web Services) 云 环境 中 , 不 需要 配置 Linux 防火 墙 。 只 需要 在 AWS 控制 
台 设 置 简单 访问 规则 即 可 。 

第 11 章 将 介绍 在 亚马逊 云 上 部 署 微 服务 的 基本 知识 。 

除了 网 络 访问 ， 只 要 可 能 ， 应 用 可 访问 的 任何 其 他 资源 都 应 受到 限制 。 以 Linux 
的 root 身份 运行 应 用 并 不 是 好 主意 ， 当 发 生 安全 问题 时 ， 会 给 予 服 务 过 高 的 权限 。 

例如 ， 如 果 应 用 正在 调用 系统 ， 调 用 被 一 个 注入 或 其 他 攻击 挟持 了 ， 这 就 等 于 给 
攻击 者 提供 了 控制 整个 操作 系统 的 后 门 。 

对 系统 的 root 访问 已 成 为 现代 部 署 的 间接 威胁 ， 因 为 大 多 数 应 用 都 在 运行 虚拟 机 
(Virtual Machines，VMD)， 但 即便 是 一 个 被 监禁 的 进程 ， 如 果 不 对 其 进行 限制 ， 也 可 造 
成 很 多 破坏 。 如 果 一 个 攻击 者 控制 了 VM， 则 可 能 进一步 控制 整个 系统 。 

遵循 以 下 两 个 规则 可 缓解 这 个 问题 : 

© Web 服务 进程 应 由 非 root 用 户 运行 。 
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e 从 Web 服务 执行 其 他 进程 时 要 非常 谨慎 ， 尽 量 避 免 这 样 做 。 

对 于 第 一 个 规则 ， 诸 如 nginx 的 Web 服务 器 的 默认 行为 是 使 用 www-data 用 户 和 
组 来 运行 进程 ， 这 样 做 会 阻止 这 些 进程 在 系统 上 执行 任何 操作 。 类 似 的 规则 应 当 用 在 
Flask 进程 上 。 你 将 在 第 9 章 看 到 , 最 佳 实践 是 在 Linux 系统 的 用 户 空间 中 运行 服务 栈 。 

对 于 第 二 条 规则 ， 任 何 Python 在 调用 os.system(). subprocess 和 multiprocessing 
时 ， 都 应 进行 双重 校 验 来 避免 在 系统 上 进行 非 预期 调用 。 对 于 通过 本 地 系统 发 送 电子 
邮件 或 通过 FTP 连接 到 第 三 方 服务 器 的 高 级 网 络 模块 也 是 如 此 。 要 解决 潜在 的 安全 问 
题 ， 有 一 种 方法 可 持续 检查 代码 ， 就 是 使 用 Bandit linter. 


7.4.3 使 用 Bandit linter 


OpenStack 社区 (https://www.openstack.org/) 创 建 了 一 个 非常 好 用 且 安 全 的 小 lnter， 
称 为 Bandit， 用 来 尝试 查找 不 安全 的 代码 (https://wiki.openstack.org/wiki/Security/ 
Projects/Bandit) 。 

该 工具 使 用 ast 模块 解析 代码 ， 与 Flake8 或 其 他 linter 类 似 。Bandit 会 在 代码 中 扫 
描 已 知 的 安全 问题 。 

一 旦 使 用 pip install bandit 命令 安装 了 它 ， 即 可 运行 Bandit 命令 扫描 Python 代码 
模块 。 

下 面 的 示例 代码 包含 三 个 不 安全 的 函数 。 第 一 个 加 载 的 YAML 内 容 可 能 实例 化 任 
意 对 象 ， 而 其 后 的 一 些 则 容易 导致 注入 攻击 : 


import subprocess 
from sqlalchemy import create_engine 
from sqlalchemy.orm import sessionmaker 


import yaml 
def read_file(filename) : 
with open(filename) as f: 


data = yaml.load(f.read()) 


def run_command (cmd) : 


return subprocess.check_call(cmd, shell=True) 


db = create _engine('sqlite:///somedatabase') 


Session = sessionmaker (bind=db) 


def get_user (uid) : 
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session = Session() 
query = "select * from user where id='%s'" % uid 


return session.execute (query) 
在 这 段 脚本 上 运行 Bandit 将 检测 到 三 个 问题 ， 并 详细 解释 这 些 问题 : 
$ bandit bandit_example.py 


Run started:2017-03-20 08:47:06.872002 


Test results: 
>> Issue: [B404:blacklist] Consider possible security implications 
associated with subprocess module. 
Severity: Low Confidence: High 
Location: bandit_example.py:1 
1 import subprocess 
2 from sqlalchemy import create_engine 
3 from sqlalchemy.orm import sessionmaker 
>> Issue: [B506:yaml_load] Use of unsafe yaml load. Allows instantiation 
of arbitrary objects. Consider yaml.safe_load() . 
Severity: Medium Confidence: High 
Location: bandit_example.py:9 


bandit_example.py 


8 with open(filename) as f: 
9 data = yaml.load(f.read()) 
10 


>> Issue: [B602:subprocess_popen_with_shell_equals_true] subprocess 
call 
with shell=True identified, security issue. 
Severity: High Confidence: High 
Location: bandit_example.py:13 
12 def run_command (cmd) : 
13 return subprocess .check_cal1 (cmd, shell=True) 
14 


>> Issue: [B608 :hardcoded_sql_expressions] Possible SQL injection 
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vector through string-based query construction. 
Severity: Medium Confidence: Low 
Location: bandit_example.py:23 


22 session = Session() 
23 query = "select * from user where id='%s'" % uid 
24 return session.execute (query) 


Files skipped (0): 


本 书 使 用 的 Bandit 版 本 是 14.0. 它 包含 64 个 安全 检查 ， 如 果 想 创建 自己 的 检查 ， 
通过 扩展 就 能 方便 地 实现 。 还 可 通过 在 项 目 中 创建 配置 文件 ， 来 调整 规则 。 
例如 ， 在 调试 模式 下 运行 Flask 时 ， 一 个 安全 检查 会 因为 这 是 生产 环境 的 安全 问 
题 而 发 出 安全 警告 。 请 考虑 以 下 示例 : 


$ bandit flask app.py 


Test results: 
>> Issue: [B201:flask_debug_true] A Flask app appears to be run with 
debug=True, which exposes the Werkzeug debugger and allows the execution 
of arbitrary code. 

Severity: High Confidence: Medium 

Location: flask_app.py:15 
14 if _ name = '_main_': 
15 app. run (debug=True) 


当 准 备 上 线 时 ， 这 是 十 分 有 效 的 检查 ， 但 在 开发 应 用 时 ， 你 更 希望 关闭 它 。 一 个 
较 好 的 实践 是 不 对 测试 模块 进行 安全 扫描 。 

下 面 的 配置 文件 可 配合 ini 参数 来 使 用 ， 以 忽略 某 些 问题 以 及 不 扫描 tests/ 目 录 下 
的 文件 。 


[bandit] 
skips: B201 


exclude: tests 


0H 在 持续 集成 流水 线 中 使 用 coveralls 等 工具 可 添加 一 个 Bandit 调用。 如 第 3 章 
所 述 ， 这 是 一 种 检查 代码 中 是 否 存在 潜在 安全 问题 的 绝 佳 方式 。 
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75 ”本 章 小 结 


本 章 探讨 如 何在 基于 微服 务 的 应 用 环境 中 使 用 OAuth2 和 JWT 令 牌 进行 集中 化 
身份 验证 和 授权 。 令 牌 能 限制 调用 者 对 目标 微服 务 执行 的 操作 ， 并 规定 令 牌 的 有 效 


期 限 。 


使 用 公 钥 / 私 钥 对 ， 只 要 令 牌 发 行者 未 受 攻击 , 还 可 防止 攻击 者 由 于 攻 入 一 个 服务 


而 破坏 整个 应 用 。 


除了 系统 级 防火 墙 规则 ，Web 应 用 框架 也 是 防止 在 API 上 进行 欺骗 或 滥用 的 好 方 
法 ， 这 里 感谢 Lua 编程 语言 的 力量 ， 它 让 我 们 能 方便 地 通过 OpenResty 实现 防火 墙 。 
通过 在 Web 服务 器 (而 非 Flask 应 用 ) 完 成 一 些 事情 , OpenResty 成 为 微服 务 提速 的 


好 方式 。 


最 后 ， 安 全 的 源 代码 是 安全 应 用 的 第 一 步 。 要 遵循 良好 的 编码 实践 ， 并 确保 代码 
与 传 入 的 用 户 数据 和 资源 进行 交互 时 不 做 蠢事 。 虽 然 诸 如 Bandit 的 工具 不 会 神奇 地 让 
代码 变 得 规范 和 安全 ， 但 它 将 发 现 最 明显 的 潜在 安全 问题 。 因 此 ， 可 毫 不 犹 静 地 在 你 


的 代码 库 中 运行 它 。 


本 章 未 讨论 的 一 个 部 分 是 终端 用 户 如 何 与 微服 务 安全 地 交互 。 第 8 章 将 介绍 这 部 


分 内 容 , 对 所 有 知识 点 进行 总 结 , 并 演示 如 何 通过 客户 端 JavaScript 应 月 
应 用 。 


日 使 


Runnerly 


— 


J2 


#8 


m | 4 


综 


到 目前 为 止 ， 大 部 分 工作 都 专注 于 构建 微服 务 ， 并 让 它们 彼此 交互 。 现 在 是 时 候 
结合 前 面 介绍 的 内 容 来 创建 用 户 界 面 ， 让 最 终 用 户 能 通过 浏览 器 使 用 我 们 的 系统 。 

现代 Web 应 用 极 大 地 依赖 于 客户 端 JavaScript(JS)。 一 些 JS 框架 一 直 提 供 完整 的 

“模型 -视图 -控制 ”(Model-View-Controller，MVC) 系 统 ， 该 系统 在 浏览 器 中 运行 并 处 
理 文档 对 象 模型 (Document Object Model, DOM). DOM 是 浏览 器 面 的 结构 化 表现 
形式 。 

Web 开发 的 范式 已 从 服务 器 端 泻 染 一 切 ， 转 变 为 按 需 从 服务 器 获取 数据 ， 然 后 在 
客户 端 泻 染 一 切 。 原 因 是 现代 Web 应 用 动态 更 改 加 载 的 页 面 的 一 部 分 ， 而 不 是 调用 服 
务 器 进行 完整 呈现 。 这 么 做 速度 更 快 ， 需 要 的 带宽 更 少 ,并 提供 了 更 丰富 的 用 户 体验 。 
这 个 转变 的 最 大 例子 是 Gmail 应 用 ，2004 年 左右 它 是 客户 端 领域 的 先驱 。 

与 Facebook 的 ReactJS(https://facebook.github.io/react) 类 似 的 工具 提供 了 高 级 API， 
避免 了 直接 操作 DOM， 同 时 提供 了 一 层 抽象 ， 让 开发 客户 端 Web 就 像 构 建 Flask 应 
用 一 样 方便 。 

有 一 种 说 法 ， 每 隔 一 周 就 会 出 现 一 个 新 JS 框架 ， 于 是 很 难 决 定 该 使 用 哪 一 个 。 
AngularJS(https://angularjs.org/) 曾 是 最 酷 的 玩具 ， 但 现在 看 来 ， 似 乎 许多 开发 者 已 转变 
为 使 用 普通 ReactJS 来 实现 应 用 的 大 部 分 UL. 

这 种 易 变性 不 是 坏 迹象 。 它 只 意味 着 很 多 创新 发 生 在 JavaScript 和 浏览 器 生态 系 
统 中 。 一 些 特性 ， 例 如 Service Worker(https://developer.mo zilla.org/en/docs/Web/API/ 
Service_Worker APD 是 Web 开发 中 的 游戏 规则 改变 者 ; 因为 它们 原生 地 允许 开发 者 在 

后 台 运 行 JS 代码 。 一 个 新 IS 工具 浪潮 可 能 从 这 个 特性 中 涌现 出 来 。 

只 要 清晰 地 分 离 UI 和 系统 的 其 他 部 分 ,从 一 个 JS 框架 迁移 到 另 一 个 就 不 会 太 难 。 

这 意味 着 ， 不 应 改变 微服 务 发 布 数据 的 方式 ， 以 使 其 特定 于 某 个 JS 框架 。 
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对 Runnerly 来 说 ， 将 用 ReactIS 构建 一 个 小 型 仪表 盘 (Dashboard)， 然 后 将 其 封装 

在 一 个 专 有 Flask 应 用 中 ， 该 应 用 将 表盘 与 系统 其 余部 分 桥接 。 此 外 ， 本 章 将 分 析 应 
如 何 与 微服 务 交 互 。 

本 章 包括 下 面 三 部 分 : 

o 使 用 Reacts 构建 一 个 仪表 盘 一 -ReactS 简介 和 示例 

o WÉ ReactJS HRA Flask 应 用 中 

e 身份 验证 和 授权 

无 论 是 否 选 用 ReactJS, 在 本 章 的 结尾 处 , 你 都 将 理解 如 何在 Flask 中 构建 Web UL, 
以 及 如 何 让 其 与 微服 务 交 互 。 


8.1 构建 ReactJS 仪表 盘 


ReactJS 框架 实现 DOM 抽象 ， 让 所 有 事件 机 制 变 得 快捷 高 效 。 使 用 Reacts 创建 
UI， 需 要 创建 包含 若干 方法 的 类 ， 当 页 面 创建 或 更 新 时 ，ReactJS 引擎 会 调用 它们 。 

这 个 方法 意味 着 ， 当 DOM 改变 时 ， 你 不 必 担 心 会 发 生 什 么 。 你 要 做 的 是 实现 一 
些 方法 ，React 将 负责 完成 其 余 工作 。 

可 使 用 JavaScript 或 JSX 来 实现 React 中 的 类 ， 见 下 一 节 的 讨论 。 


8.1.1 JSX 语法 


ISX 语法 扩展 (https://facebook.github.io/jsx/) 给 JS 添加 了 XML 标签 ， 当 演 染 页 面 
时 ， 诸 如 ReactlS 的 工具 会 使 用 它们 。ReactsS 社区 将 其 推广 为 编写 ReactJS 应 用 的 最 
佳 方式 。 

在 下 例 中 ，<scrip 亿 包含 div 变量 ，div 变量 的 值 是 代表 div 的 XML 树 。 这 个 语法 
是 有 效 的 JSX。 然 后 ，ReactDOM.render0 函 数 在 DOM Pi% div 变量 。 


<!DOCTYPE html> 
<html> 
<head lang="en"> 
<meta charset="UTF-8"> 
</head> 
<body> 
<div id="content"></div> 
<script src="/static/react/react.min.js"></script> 


<script src="/static/react-dom.min.js"></script> 
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<script src="/static/babel/browser.min.js"></script> 


<script type="text/babel"> 
var div = 
<div> 
Hello World 
</div> 
ReactDOM.render(div, document.getElementById('content')); 
</script> 
</body> 
</html> 


上 面 两 个 ReactJS 脚本 是 React 发 行 版 的 一 部 分 。browsermin,js 文件 是 babel 发 行 
版 的 一 部 分 ， 它 必须 在 浏览 器 遇 到 任何 ISX 代码 前 被 加 载 。babel 将 ISK 语法 转换 成 
JS。 这 个 转换 称 为 转译 (transpilation)。 


@ babel(https://babeljs.io/) 是 一 个 转译 器 ， 与 其 他 可 用 的 转译 器 结合 使 用 ， 能 动 
态 地 将 ISX 转换 成 JS。 只 需要 将 脚本 类 型 标记 为 textVbabel， 即 可 使 用 它 。 


关于 ReactJS, KRT ISX 的 特定 语法 ， 其 他 一 切 都 使 用 常见 的 JavaScript 语言 。 构 
建 ReactJS 应 用 时 ， 需 要 创建 用 来 泻 染 Web 页 面 的 JS 类 (可 能 是 JSX， 也 可 能 不 是 )。 
下 面 分 析 ReactJS 的 心脏 一 一 组 件 。 


8.1.2 React 组 件 


ReactJS 基于 这 样 的 想法 : 页 面 可 分 解 为 基本 组 件 , 在 泻 染 页 面 的 各 部 分 时 调用 这 
些 组 件 。 

例如 ， 如 果 想 展示 跑步 活动 的 列表 ， 可 创建 Run 类 ， 从 而 基于 给 定 值 来 演 染 单一 
跑步 活动 ，Runs 类 遍历 跑步 活动 列表 ， 可 调用 Run 类 来 泻 染 每 一 项 。 

每 个 类 都 通过 React.createClass0 函 数 来 创建 ， 它 接收 包含 新 的 类 方法 的 映射 。 
createClass0 函 数 生成 新 类 ， 通 过 设置 props 来 保存 若干 属性 和 传 入 的 方法 。 

下 例 在 一 个 新 的 JavaScript 文件 定义 Run 类 。 其 中 Run 类 的 render0 函 数 返回 一 个 
<div> 标 签 : 


var Run = React.createClass( { 
render: function() { 
return ( 


<div>{this.props.title} ({this-.props.type}) </div> 
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) 
} 
ko De 


var Runs = React.createClass( { 
render: function() { 
var runNodes = this.props.data.map(function (run) { 
return ( 
<Run 
title= {run.title} 
type= {run.type} 
/> 
) 
dF 
return ( 
<div> 
{runNodes} 
</div> 
); 
} 
Me 


Run 类 在 div 返回 的 值 是 {this.props.title}({this.props.type})， 通 过 访问 Run 实例 的 
props 属性 来 泻 染 。 

创建 Run 实 例 时 会 填充 props 数 组 一 一 这 发 生 在 Runs 类 的 render0 方 法 中 。runNodes 
变量 遍历 包含 跑步 活动 的 Runs.props.data 列表 。 

这 是 最 后 一 块 拼 图 一 -实例 化 Runs 类 ， 以 及 让 React 使 用 props.data 列表 来 泻 染 
跑步 活动 。 
在 Runnerly 应 用 中 ， 这 个 列表 可 由 发 布 跑步 活动 的 微服 务 提供 。 我们 可 创建 男 一 
个 React 类 ， 使 用 AJAX(Asynchronous JavaScript And XML) 模 式 和 XmlHttpRequest 类 
来 异步 地 加 载 这 个 列表 。 

这 是 下 例 中 的 loadRunsFromServer0 方 法 发 生 的 情况 。 代 码 使 用 props 里 的 URIL 发 起 
GET 请 求 ， 从 服务 器 获取 数据 后 ， 通 过 调用 setState0 方 法 设置 props.data 的 值 。 


var RunsBox = React.createClass( { 
loadRunsFromServer: function() { 
var xhr = new XMLHttpRequest () ; 


xhr.open('get', this.props-.url, true); 


xhr.onload = function() { 
var data = JSON.parse (xhr.responseText) ; 
this.setState( { data: data } ); 
} -bind (this) ; 
xhr.send(); 
by 


getInitialState: function() { 
return {data: []} ; 


hy 


componentDidMount: function() { 


this .loadRunsFromServer () ; 


My 


render: function() { 


return ( 
<div> 
<h2>Runs</h2> 
<Runs data= {this.state.data} /> 
</div> 


); 
} 
I Jè 


// this will expose RunsBox globally 


window.RunsBox = RunsBox; 


状态 Gtate) 的 变化 会 触发 React 类 使 用 新 数据 来 更 新 DOM。 框 架 调 用 render0 方 
法 , 该 方法 会 展示 包含 Runs 的 <div> 片 段 。Runs 实例 和 每 个 Run 实例 依次 以 级 联 方式 
传递 。 

为 触发 loadRunsFromServer0 方 法 ，RunsBox 实 现 了 componentDidMount0 方 法 。 当 
创建 RunsBox 类 的 实例 , 将 其 挂 载 到 React 并 准备 好 显示 后 , 会 调用 componentDidMountO 
方法 。 最 后 , getInitialState0 方 法 会 在 实例 化 时 被 调用 , 用 一 个 空 数 组 data 来 初始 化 props 
实例 。 

整个 分 解 和 链接 过 程 可 能 很 复杂 ， 但 一 旦 完成 ， 功 能 将 非常 强大 ， 因 为 接 下 来 只 
需要 专注 于 泻 染 每 个 组 件 即 可 ，React 会 用 最 高 效 的 方式 在 浏览 器 中 实现 其 他 部 分 。 
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每 个 组 件 都 有 一 个 状态 (state)， 发 生变 化 时 ，React 首先 更 新 其 内 部 


的 DOM， 即 


虚拟 DOM ,一旦 虚拟 DOM 发 生变 化 ,React 就 将 必要 的 变化 高 效 地 应 用 于 虚拟 DOM. 
本 节 到 目前 为 止 介绍 的 所 有 ISX 代码 都 可 保存 为 JSX 模块 ， 并 通过 以 下 方式 在 


HTML 中 使 用 : 


<!DOCTYPE html> 
<html> 
<head lang="en"> 
<meta charset="UTF-8"> 
<title>Runnerly Dashboard</title> 
</head> 
<body> 
<div class="container"> 
<hil>Runnerly Dashboard</h1> 
<br> 
<div id="runs"></div> 
</div> 
<script src="/static/react/react .js"></script> 
<script src="/static/react/react-dom.js"></script> 


<script src="/static/babel/browser.min.js"></script> 


<script src="/static/runs.jsx" type="text/babel"></script> 


<script type="text/babel"> 
ReactDOM. render ( 
<window.RunsBox url="/api/runs.json" />, 
document .getElementById('runs') 
) 7 
</script> 
</body> 
</html> 


该 示例 使 用 /api/runsjson 来 初始 化 RunsBox 类 。 一 旦 页 面 加 载 完毕 ，React 会 调 


注意 这 里 使 用 windowRunsBox 而 非 RunsBox， 这 是 因为 babel 


用 这 个 URL， 并 期 望 能 得 到 跑步 活动 的 列表 ， 这 个 列表 被 传 给 Runs 和 Run 示例 。 


转译 器 不 会 在 


runsjsx 文件 中 公开 全 局 变量 。 这 就 是 为 什么 必须 设置 在 window 的 设置 属性 才能 


<scripf> 之 间 共 享 的 原因 。 
在 浏览 器 中 直接 转译 是 一 个 糟糕 的 做 法 。 最 好 提前 转译 ISX 文件 ， 
解释 。 
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第 8 章 综合 运用 


0H 本 节 介绍 ReactJS 的 基本 用 法 ， 并 未 深入 探讨 所 有 可 能 性 。 要 了 解 更 多 信息 ， 
可 阅读 它 的 教程 ( 见 https://facebook.github.io/react/tutorial/tutorial.html)。 该 教程 
展示 了 React 组 件 如 何 通过 事件 与 用 户 交 互 一 这 是 掌握 了 简单 泻 染 方式 后 

的 下 一 步 。 


现在 已 经 有 了 构建 基于 React 的 Ul 的 基本 布局 , 接 下 来 分 析 如 何 将 其 嵌入 Flasko 


8.2 ReactJS 5 Flask 


构建 React 应 用 时 ， 通 常 使 用 Node.js(https://nodejs.org/enm/) 来 编写 服务 器 端 代码 。 
因为 使 用 单一 语言 并 使 用 相同 生态 系统 的 工具 会 更 容易 。 

REUE, React 应 用 完全 可 与 Flask 一 起 运行 。 可 使 用 Jinja2 we HTML 页 面 ; 
JavaScript 文件 类 似 ， 可 将 转译 后 的 JSX 文件 作为 静态 文件 对 外 提供 服务 。 此 外 ， 
如 前 所 述 ， 可 使 用 React 的 JS 格式 的 发 行 版 ， 然 后 将 其 与 其 他 文件 一 起 放 在 Flask 的 
静态 目录 里 。 

将 Flask 应 用 命名 为 dashboard， 可 从 如 下 的 简单 目录 结构 开始 : 
e setup.py 
e dashboard/ 
e int py 
。 apppy 
e templates/ 
e index.html 


Ur 


e static/ 
®  runs.jsx 


app.py 文件 是 一 个 基本 的 Flask 应 用 ， 它 支持 唯一 的 HTML 文件 : 


from flask import Flask, render_template, 
app = Flask(_ name ) 


@app.route('/") 
def index(): 


return render template (' index.html") 


if name = '_ main ': 
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app. run () 


按照 Flask 处 理 静 态 文件 的 惯例 ，static/ 目 录 的 所 有 文件 都 在 /static URL 下 。 

index.html 模板 与 上 一 节 描 述 的 模板 类 似 ， 可 变 成 特定 于 Flask 的 东西 。 

以 上 是 从 Flask 运行 ReactJS 应 用 所 需 的 一 切 。 然而 , 将 ReactIS 发 行 版 放 在 Flask 
静态 文件 库 并 非 维 护 项 目的 最 佳 方式 。 还 需要 更 好 的 方式 来 管理 JS 依赖 项 。 此 外 ， 
JavaScript 领域 有 很 多 不 错 的 工具 ， 下 一 节 会 介绍 。 


8.2.1 使 用 bower, npm 和 babel 


到 目前 为 止 , Flask 应 用 使 用 静态 JavaScript 文件 来 构建 ReactUI。 然而 , 如 JS 社 
区 那样 ， 管 理 React 和 其 他 JavaScript 库 的 更 好 方式 是 将 其 作为 一 个 可 更 新 的 软件 包 一 
一 就 像 使 用 Python 包 那 样 定 期 更 新 。 为 此 ， 可 在 系统 中 安装 JavaScript 的 包 管 理 器 
npm(https://www.npmjs.con/).npm 通过 Nodejs 来 安装 。 在 macOS E, 使 用 brew install 
node; 或 者 ， 可 从 Nodejs 主页 (https:/nodejs.org/en/) 下 载 到 系统 中 。 

安装 Node.js 和 npm 后 ， 采 用 如 下 方式 在 命令 行使 用 npm 命令 : 


$ npm -v 

3.5.2 

为 在 Flask 项 目 中 管理 JavaScript 依赖 项 ， 将 使 用 bower(https://bowerio/)。 它 是 
Web 应 用 的 包 管 理工 具 ， 利 用 npm 将 需要 的 所 有 JS 依赖 打包 一 一 就 像 pip 对 Python 
包 所 做 的 那样 。 

使 用 npm 来 安装 bower: 


$ npm install -g bower 

使 用 -g 开关 意味 着 在 系统 的 npm 中 安装 全 局 bower。 如 果 安 装 成 功 , 就 得 到 一 个 
新 的 bower 命令 行 工具 。 

安装 bower 后 ， 进 入 Flask 仪表 盘 应 用 的 根 目录 运行 交互 式 init 命令 ， 如 下 所 示 : 


$ bower init 

? name dashboard 

? description A ReactJS based Dashboard for Runnerly 
? authors Tarek Ziade <tarek@ziade.org> 


authors: [ 
'Tarek Ziade <tarek@ziade.org>' 
1, 


description: 'A ReactJS based Dashboard for Runnerly', 


mains T% 
license: 'MIT', 
homepage: '', 
ignore: [ 
Tk/ 
"node modules', 
'bower components', 
'test', 
'tests' 


? Looks good? Yes 


回答 几 个 问题 后 ， 这 个 命令 创建 名 为 bowerjson 的 配置 文件 。bower 用 它 来 拉 取 


JavaScript 库 。 


由 于 我 们 想 在 Flask 应 用 中 返回 JavaScript 文件 (生成 环境 中 使 用 nginx), 还 要 将 静 


态 文件 目录 的 位 置 告 诉 bower。 为 此 ， 可 使 用 .bowerrc 文件 ， 如 下 : 


{"directory": "dashboard/static"} 


$ bower install --save jquery react 


jquery#3.2.1 dashboard/static/jquery 
react#15.4.2 dashboard/static/react 


以 上 命令 将 依赖 项 保存 到 bowerjson 文件 中 。 重 新 安装 项 目 时 ， 
的 跟踪 依赖 的 方式 。 与 使 用 pip install 命令 自动 填充 requirements.txt 文件 的 情形 类 似 。 


现在 , 如 果 运 行 bower 的 安装 命令 来 安装 React Ail jQuery, BE 
并 保存 到 静态 目录 中 : 


动 处 理 这 两 个 库 ， 


该 机 制 是 非常 棒 


还 需要 使 用 npm 来 安装 将 JSX 转译 成 IS 文件 的 babel 转译 器 ， 以 及 React 预 置 


插件 (preset)， 如 下 所 示 : 


$ npm init 
$ npm install -save-dev babel-cli babel-preset-react 
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以 上 命令 将 软件 包 安 装 到 当前 目录 下 ， 并 创建 与 bowerjson 相似 的 packagejson 
文件 ， 此 外 ，node _ modules/bin/ 目 录 下 也 有 babel 命令 。 

然后 ， 运 行 下 面 的 命令 ， 将 所 有 ISX 文件 转换 成 单一 的 普通 IS 文件 ， 并 以 
dashboard.js 命名 : 


$ node_modules/.bin/babel dashboard/static/*.jsx > 
dashboard/static/dashboard. js 


一 旦 运行 babel 命令 ，Flask 模板 可 不 使 用 ISX 文件 ， 而 使 用 位 于 JS 文件 中 的 Js 
版 本 的 React 类 。 此 后 ， 就 不 需要 在 客户 端 动态 转译 。 

同时 ， 这 意味 着 ISX 文件 的 所 有 全 局 变量 在 任何 地 方 是 可 见 的 ， 因 此 ， 不 需要 将 
它们 挂 载 到 window 变量 上 。 

还 可 将 ReactDOM.render0 方 法 调用 (此 前 位 于 专属 的 <scrip 尼 标签 中 ) 移 到 专属 的 
zrenderjsx 文件 中 。 


ReactDOM. render ( 
<RunsBox url="/api/runs.json" />, 
document .getElementById('runs') 
); 
注意 文件 名 以 z 开 头 ， 以 确保 babel 42K dashboard js 时 ， 能 将 其 注入 dashboard.js 
的 末尾 一 -这 是 因为 babel 按 字母 顺序 处 理 这 些 脚 本 。 这 也 确保 RunBox 类 和 其 他 任何 
所 需 的 变量 或 JS 元 素 在 泻 染 之 前 被 定义 。 


0H 还 有 其 他 一 些 方 式 来 处 理 模 块 间 依 赖 。 诸 如 RequireJS(http://www. 
requirejs.org/) 的 工具 提供 了 有 趣 的 方式 来 解决 这 个 问题 。 然 而 ， 现 在 这 个 以 
Flask 作为 后 端的 小 仪表 盘 不 会 有 大 量 JS 文件 , 当前 的 方式 应 该 已 经 足够 了 。 


修改 后 ， 最 终 的 index.html 如 下 所 示 : 


<!DOCTYPE html> 
<html> 
<head lang="en"> 
<meta charset="UTF-8"> 
<title>Runnerly Dashboard</title> 
</head> 
<body> 
<div class="container"> 
<h1>Runnerly Dashboard</h1> 
<br> 


<div id="runs"></div> 
</div> 
<script src="/static/react/react .js"></script> 
<script src="/static/react/react-dom.js"></script> 
<script src="/static/dashboard.js"></script> 
</body> 
</html> 


这 一 节 中 ， 我 们 始终 假定 React 使 用 位 于 同一 Flask 应 用 /api/runsjson 端点 下 的 
JSON 数据 。 

同一 域名 下 的 AJAX 请 求 不 会 有 问题 , 但 是 , 如 果 需 要 访问 属于 其 他 域 的 微服 务 ， 
将 需要 同时 修改 服务 器 端 和 客户 端 。 

下 面 分 析 如 何 实现 跨 域 访问 。 


8.22 ” 跨 域 资源 共享 


人 允许 客户 端 通过 AJAX 来 执行 跨 域 请 求 具有 潜在 的 安全 风险 。 如 果 位 于 域名 的 客 
户 端 页 面 执行 一 段 JS 代码 ， 尝 试 访问 不 属于 你 的 域名 ， 就 可 能 执行 恶意 代码 并 危害 
用 户 


为 此 ， 在 调用 异步 请 求 时 ， 所 有 浏览 器 使 用 同 源 策略 (Same-Origin Policy)， 来 确 
保 请 求 发 生 在 同一 域名 下 。 

除了 安全 问题 ， 这 也 是 防止 其 他 应 用 使 用 带宽 的 好 方法 。 例 如 ， 站 点 提供 一 些 字 
体 文 件 ， 你 可 能 并 不 想 让 其 他 站 点 在 其 页 面 上 使 用 它们 ， 也 不 允许 不 受 限 地 使 用 你 的 
带宽 。 

然而 ， 也 有 一 些 给 其 他 域名 共享 资源 的 使 用 场景 ， 此 时 ， 可 在 服务 上 设置 一 些 规 
则 来 允许 其 他 域名 访问 资源 。 

这 就 是 所 谓 的 跨 源 资源 共享 (Cross-Origin Resource Sharing， 简 称 CORS)。 当 浏览 
器 向 服务 发 送 AJAX 请 求 时 ， 会 添加 Origin 头 ， 你 可 判断 其 是 否 位 于 已 授权 域名 的 列 
表 中 。 

如 果 不 在 列表 中 ，CORS 协议 要 求 服务 器 返回 包含 允许 的 域名 列表 的 消息 头 。 

还 有 一 个 预 检 机 制 ， 浏 览 器 可 向 端点 发 送 OPTIONS 方法 的 请 求 ， 来 确认 发 起 的 
请 求 是 否 被 授权 。 

在 客户 端 ， 并 不 需要 关心 如 何 建立 这 些 机 制 。 浏 览 器 会 根据 请 求 的 具体 情况 做 
决定 。 
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但 在 服务 器 端 ， 需 要 确保 端点 能 响应 OPTIONS 请 求 ， 并 决定 允许 哪些 域名 访问 


资源 。 如 果 服 务 是 公开 的 ， 可 用 通配符 来 允许 所 有 域名 。 然 而 ， 对 于 一 个 你 控制 了 客 
户 端的 微服 务 应 用 ， 你 应 该 限制 请 求 的 域名 。 


持 。 


在 Flask 中 , 使 用 flakon 的 crossdomain0 装 饰 器 ， 就 能 给 API 端点 添加 CORS X 
下 面 的 Flask 应 用 中 ，/apiruns ,json 端点 能 被 任何 域名 使 用 : 


from flask import Flask, jsonify 


from flakon import crossdomain 
app = Flask( name ) 
@app. route ('/api/runs.json') 


@crossdomain () 


def _runs(): 


runl = {'title': 'Endurance', 'type': 'training'} 
run2 = {'title': '10K de chalon', 'type': 'race'} 
_data = [runl, run2] 


return jsonify(_data) 


if name == '  main_': 


app. run (port=5002) 


启动 应 用 ， 然 后 通过 curl KAGE GET 请 求 ， 就 能 看 到 服务 器 端 添加 了 Access- 


Control-Allow-Origin:* 3: 


An 


curl -v http://localhost:5002/api/runs. json 
Trying localhost... 

TCP_NODELAY set 

Connected to localhost (127.0.0.1) port 5002 (#0) 
GET /api/runs.json HTTP/1.1 

Host: localhost:5002 

User-Agent: curl/7.51.0 

Accept: */* 


* +* 


* 


VV VY 


HTTP 1.0, assume close after body 
HTTP/1.0 200 OK 

Content-Type: application/json 
Access-Control-Allow-Origin: * 


Content-Length: 122 


AAAA 


< Server: Werkzeug/0.12.1 Python/3.5.2 
< Date: Tue, 04 Apr 2017 07:39:48 GMT 


"title": "Endurance", 
"type": "training" 


"title": "10K de chalon", 
"type": "race" 
} 
] 
* Curl_http_done: called premature = 0 
* Closing connection 0 


这 是 crossdomain0 装 饰 器 的 默认 许可 行为 , 但 你 也 可 为 每 个 端点 设置 细 粒 度 权 限 ， 
并 将 它们 限制 为 特定 域名 。 甚 至 可 使 用 白 名 单 ， 只 允许 指定 的 请 求 方法 。flakon 也 能 
在 blueprint 级 别 设置 CORS。 

在 这 里 ， 只 允许 一 个 域名 已 经 足够 了 。 例 如 ， 假 设 服务 JS 应 用 的 Flask 应 用 运行 
在 localhost:5000 上 ， 那 么 可 使 用 以 下 方式 来 限制 请 求 的 域名 : 


@app. route ('/api/runs.json') 
@crossdomain (origins=['http://localhost:5000']) 


def _runs(): 


对 于 不 是 来 自 http://localhost:5000 的 请 求 ， 服 务 端 不 会 返回 数据 。 
注意 ， 装 饰 器 会 返回 403 响应 来 拒绝 来 自 不 允许 的 域名 的 请 求 。 由 于 CORS 协议 
并 未 定义 拒绝 访问 时 应 返回 的 状态 码 ， 因 此 可 在 实现 时 自行 选择 。 


要 深入 理解 CORS, MDN 上 有 不 错 的 资源 ， 见 链接 https://developer. 
mozilla.org/en-US/docs/Web/HTTP/Access_control CORS. 


这 一 节 介 绍 了 如 何在 服务 中 设置 CORS 头 来 允许 跨 域 调用 ， 这 在 IS 应 用 中 很 


为 使 JS 应 用 拥有 完整 功能 ， 还 需要 实现 身份 验证 与 授权 。 
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8.3 ”身份 验证 与 授权 


React 仪 表盘 需要 验证 用 户 的 身份 ,授权 其 访问 某 些微 服务 ， 以 及 让 用 户 授予 访问 
Strava 的 权限 。 

假定 只 允许 通过 验证 的 用 户 使 用 仪表 盘 。 有 两 类 用 户 : 初 访 使 用 和 回访 用 户 。 

初 访 用 户 的 用 户 故 事 如 下 : 

作为 一 个 初 访 用 户 ， 我 访问 仪表 盘 时 ， 页 面 上 有 “登录 ”链接 。 我 点 击 链 接 时 ， 
仪表 盘 将 重 定向 到 Strava， 让 我 授予 仪表 盘 访 问 个 人 资源 的 权限 。 然 后 ，Strava 将 我 
重 定向 到 仪表 盘 ， 我 的 信息 被 关联 起 来 。 此 后 ， 开 始 使 用 我 的 数据 来 填充 仪表 盘 。 


如 上 所 述 , Flask 应 用 与 Strava 一 起 运行 OAuth2 Dance 来 授权 。 为 与 Strava 关联 ， 
需要 将 访问 令 牌 (access token) 存 储 到 Runnerly 的 用 户 信息 中 ， 以 便 接 下 来 获取 跑步 
活动 。 

继续 深入 前 ， 需 要 做 一 个 设计 决定 : 我 们 希望 将 仪表 盘 与 数据 服务 合并 ， 还 是 希 
望 将 二 者 分 离 ? 


8.3.1 与 数据 服务 交互 


第 4 章 介 绍 过 ， 一 个 设计 微服 务 的 安全 方法 是 避免 在 没有 充分 理由 的 情况 下 创建 
新 服务 。 

DataService (数据 服务 ) 使 用 数据 来 保存 用 户 数据 ，Celery 职 程 会 调用 这 个 服务 。 
首先 想到 的 选项 是 使 用 单一 Flask 应 用 来 管理 数据 库 ， 通 过 它 的 JSON API， 不 仅 给 最 
终 用 户 返回 HTML 和 JS 内 容 ， 也 服务 于 其 他 微服 务 。 

这 个 方法 的 好 处 是 ， 不 需要 考虑 如 何 实现 仪表 盘 和 DataService 之 间 的 网 络 交互 。 
此 外 ， 除 了 ReactJS 应 用 ， 不 需要 在 DataService 添加 太 多 内 容 就 能 使 其 适用 于 两 种 
情况 。 

但 这 样 的 话 ， 就 无 法 受益 于 微服 务 的 一 个 优势 ， 即 每 个 微服 务 仅 关注 一 个 事项 。 

尽管 用 保守 方法 入 手 总 是 更 安全 ， 但 请 思考 一 下 拆 分 对 设计 的 影响 。 如 果 仪 表盘 
是 独立 的 ， 那 么 需要 驱动 DataService 在 内 部 创建 和 修改 用 户 信 息 。 这 意味 着 
DataService 需要 公开 若干 API。 通 过 HTTP 公开 数据 库 的 最 大 风险 是 ， 无 论 何 时 修改 
数据 库 ， 都 可 能 影响 API。 

然而 ， 如 果 公 开 的 端点 尽 可 能 隐藏 了 数据 库 结 构 ， 就 能 降低 风险 。 反 向 做 法 是 公 
Ff CRUD xt API. 
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例如 ， 在 DataService 中 创建 用 户 时 可 使 用 POST API， 只 需要 将 用 户 的 Strava 令 
牌 和 邮箱 作为 输入 ， 并 返回 一 些 用 户 ID。 这 些 信息 很 少 改 变 ， 仪 表盘 只 需要 充当 用 户 
和 DataService 之 间 的 代理 。 
让 仪表 盘 与 DataService 隔离 的 最 大 好 处 在 于 其 稳定 性 。 当 构建 类 似 Runnerly 的 
应 用 时 ， 开 发 者 通常 进入 一 个 阶段 ， 此 时 应 用 的 核心 部 分 是 稳定 的 ， 但 会 在 用 户 界面 
和 用 户 体验 上 进行 多 次 迭代 。 换 名 话说 ， 仪 表盘 可 能 演进 很 多 ， 但 DataService 应 该 很 
快 进入 稳定 阶段 。 

根据 以 上 所 有 理由 ， 将 仪表 得 和 DataService 作为 两 个 独立 应 用 风险 较 低 。 

现在 做 出 了 设计 决定 ， 下 面 分 析 如 何 与 Strava 执行 OAuth2 Dance. 


8.3.2 获取 Strava She 


Strava 提供 了 典型 的 “三 条 腿 OAuth2(three-legged OAnuth2)” 的 实现 stravalib 
(https://github.com/hozn/stravalib)。 

先 将 用 户 重 定向 到 Strava, 然后 公开 一 个 端点 。 一 旦 用 户 授 予 Strava 的 访问 权限 ， 
就 被 重 定向 到 这 个 调用 点 。 

交换 后 , 就 能 从 用 户 的 Strava 账户 中 得 到 用 户 信息 和 令 牌 的 访问 权限 。 可 在 Flask 
会 话 中 存储 这 些 信息 ， 并 当 作 登录 机 制 ， 然 后 将 邮箱 和 令 牌 的 值 传 给 DataService， 以 
便 Celery 的 Strava 职 程 使 用 这 个 令 牌 。 

如 第 4 章 所 述 ， 以 下 函数 生成 了 发 给 用 户 的 URL: 


from stravalib.client import Client 
def get_strava_url(): 
client = Client () 
cid = app.config['STRAVA_CLIENT_ID'] 
redirect = app.config['STRAVA_REDIRECT'] 
url = client.authorization_url (client_id=cid, 
redirect_uri=redirect) 


return url 
该 函数 使 用 Runnerly 应 用 的 client id( 在 Strava API 的 设置 页 面 生成 ), 以 及 为 仪表 


盘 定 义 的 重 定向 地 址 ， 然 后 返回 要 发 给 用 户 的 地 址 。 
需要 相应 地 修改 仪表 盘 的 视图 ， 将 URL 传 给 模板 。 


from flask import session 


@app.route('/') 
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def index(): 
strava_url = get_strava_url() 
user = session.get('user') 
return render template ('index.html', strava_url=strava_url, 


user=user) 


session 存储 user 时 ， 还 传递 user 变量 。 接 下 来 ， 模 板 会 使 用 Strava URL 来 展示 
登录 或 登 出 链接 ， 如 下 所 示 : 


{% if not user %} 

<a href="{{strava_url}}">Login via Strava</a> 
{% else %} 

Hi {{user}}! 

<a href="/logout">Logout</a> 

{% endif %} 


用 户 点 击 登录 链接 时 ， 会 被 重 定向 到 Strava; 返回 应 用 时 ， 会 访问 strava redirect 


定义 的 地 址 。 
视图 的 实现 如 下 所 示 : 


@app.route ('/strava_redirect') 
def strava_login(): 
code = request.args.get ('code') 
client = Client () 
cid = app.config['STRAVA_CLIENT_ID'] 
csecret = app.config['STRAVA_CLIENT_SECRET'] 
access _token = client.exchange_code_for_token(client_id=cid, 
client_secret=csecret, code=code) 
athlete = client.get_athlete() 
email = athlete.email 
session['user'] = email 
session['token'] = access_token 
send_user_to_dataservice(email, access_token) 


return redirect ('/') 


stravalib 库 的 Client 类 将 code 换 成 访问 令 牌 并 保存 在 session 中， 然后 使 用 
get_athlete0 方 法 获取 一 部 分 用 户 信 息 。 

最 后 ,send_user to_dataservice(email, access_token) 方 法 与 微服 务 DataService 交互 ， 
确保 保存 了 email 和 访问 令 牌 ， 此 时 会 使 用 基于 JWT 的 访问 方式 。 


190 


第 8 章 综合 运用 


由 于 已 在 第 7 章 中 介绍 过 ， 这 里 不 再 介绍 仪表 盘 与 TokenDealer 交互 的 细节 。 过 
程 是 类 似 的 -一 仪表 盘 应 用 从 TokenDealer 获取 令 牌 ， 并 用 它 来 访问 DataService。 
身份 验证 的 最 后 一 部 分 在 ReactIS 代码 中 ， 见 下 一 节 。 


8.3.3 JavaScript 身份 验证 


当 仪 表盘 应 用 与 Strava 执行 OAuth2 Dance 时 ， 会 在 session 中 保存 用 户 信 息 ， 这 
是 让 用 户 验证 仪表 盘 的 完美 选择 。 

然后 ， 当 ReactJS 通过 调用 DataService 微服 务 来 展示 用 户 的 跑步 活动 时 ， 需 要 提 
供 身份 验证 头 。 

可 采用 两 个 方法 来 解决 该 问题 : 

o 使 用 现在 的 session 信息 ， 通 过 仪表 盘 Web 应 用 来 代理 对 微服 务 的 所 有 访问 。 

。 为 每 个 最 终 用 户 生 成 一 个 JWT 令 牌 ， 将 其 保存 ， 在 访问 其 他 微服 务 时 使 用 。 

代理 方案 无 疑 最 简单 ， 因 为 不 需要 给 每 个 用 户 生成 令 牌 来 访问 DataService。 它 还 
防止 公开 DataService。 将 一 切 隐藏 在 仪表 盘 后 的 做 法 ， 意 味 着 修改 应 用 时 有 更 大 灵活 
性 ， 同 时 让 UI 保持 兼容 。 

尽管 如 此 ， 该 方法 的 问题 在 于 强制 所 有 流量 经 过 仪表 盘 服 务 ， 但 这 并 不 需要 。 理 
想 情况 下 ， 更 新 显示 的 跑步 活动 列表 不 应 该 是 仪表 盘 服 务 器 考虑 的 事项 。 

第 二 个 遵循 微服 务 设计 的 方案 更 优雅 。 处 理 令 牌 时 ，Web UI 只 是 众多 微服 务 的 客 
户 端 之 一 。 然 后 ， 这 也 意味 着 客户 端 不 得 不 处 理 两 个 身份 验证 循环 。 如 果 JWT 令 牌 被 
撤销 但 Strava 令 牌 还 有 效 ，Client 应 用 仍 需 要 重新 验证 身份 。 

第 一 个 解决 方案 可 能 是 初版 的 最 佳 选择 。 作 为 代理 代表 用 户 访问 微服 务 ， 意 味 着 
仪表 盘 应 用 使 用 其 自身 的 JWT 令 牌 来 调用 DataService 以 获取 用 户 数据 。 

如 第 4 章 所 述 ，DataService 使 用 以 下 API 模式 来 返回 跑步 列表 : GET 
/runs/<user_id>/<year>/<month>. 

假定 仪表 盘 保 存 了 (e-mail, user ID) 元 组 ， 针 对 上 面 API 的 代理 视图 可 以 是 GET 
/apiruns/<year>/<month>。 然 后 ， 当 用 户 通 过 Strava 登录 后 ， 根 据 session 中 存储 的 当 
前 用 户 的 电子 邮件 ， 仪 表盘 能 找到 用 户 ID. 

代理 的 代码 如 下 所 示 : 


@app. route ('/api/runs/<int: year>/<int:month>') 
def _runs (year, month) : 
if 'user' not in session: 
abort (401) 


uid = email _to_uid(session['user']) 
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将 有 


endpoint = '/runs/%d/%d/%d' % (uid, year, month) 
resp = call data_service (endpoint) 


return jsonify(resp.json()) 


call data serviceO 函 数 使 用 JWT 令 牌 访问 DataService 调用 点 ，email to uidQ HA 


B 子 邮件 转换 成 对 应 的 用 户 ID. 
最 后 ， 为 确保 上 述 方法 有 效 ， 要 在 每 个 xhr 的 调用 上 使 用 选项 withCredentials， 


以 便 发 起 AJAX 访问 时 ， 同 时 发 出 Cookie 和 身份 验证 头 。 


var xhr = new XMLHttpRequest () ; 
xhr.open('get', URL, true); 
xhr.withCredentials = true; 
xhr.onload = function() { 


var data = JSON.parse (xhr.responseText) ; 
} .bind(this) ; 


xhr.send(); 


84 ”本 章 小 结 


本 章 介 绍 如 何 将 ReactJS UI 封装 到 Flask 应 用 (仪表 盘 )。ReactJS 是 构建 运行 在 浏 


览 器 的 现代 交互 式 UI 的 绝 佳 方式 ， 加 快 了 JS 的 执行 ， 引 入 了 名 为 JSX 的 新 语法 。 


如 人 


本 章 还 介绍 如 何 使 用 基于 npm, bower 和 babel 的 工具 链 来 管理 IS 依赖 项 ， 以 及 
ap HA ISX 文件 。 
仪表 盘 应 用 使 用 Strava“ 三 条 腿 OAuth2” fy API 来 关联 用 户 ， 并 从 Strava 服务 中 


获取 令 牌 。 我 们 做 了 一 个 设计 决定 ， 将 仪表 盘 应 用 从 DataService 中 分 离 ， 于 是 该 令 牌 


被 发 送 到 微服 务 DataService 并 存储 。 以 后 ，Strava Celery 职 程 会 使 用 该 令 牌 ， 代 表 用 
户 抓 取 跑步 活动 。 


化 了 客户 端的 工作 。 客 户 端 只 需要 与 单一 服务 器 打交道 ， 同 时 使 用 单一 的 身份 验证 和 


最 后 ， 为 构建 仪表 盘 ， 使 用 “仪表 盘 ” 服 务 器 代理 对 不 同 微服 务 的 访问 ， 这 样 简 


授权 流程 。 


图 8-1 是 新 架构 ， 包 含 仪表 盘 应 用 。 
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训练 计划 


图 8-1 新 架构 


仪表 盘 的 完整 代码 位 于 Runnerly 组 织 : https://github.com/runnerly/dashboard. 

现在 已 了 6 个 不 同 Flask 应 用 。 作 为 一 个 开发 者 ， 开 发 诸如 Runnerly 的 应 用 可 
能 面临 挑战 。 

一 个 显而易见 的 需求 是 ， 能 在 单一 开发 盒子 中 顺利 运行 所 有 微服 务 。 

深入 了 解 Python 的 软件 包 的 工作 原理 后 , 第 9 章 将 介绍 如 何 打包 Python 微服 务 ， 
以 及 如 何 通过 进程 管理 器 以 开发 模式 在 一 个 盒子 中 运行 它们 。 
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9g 
打包 和 运行 Runnerly 


当 Python 编程 语言 在 20 世纪 90 年 代 早 期 第 一 次 发 布 时 , 是 通过 将 代码 指向 解释 


器 来 运行 Python 应 用 


的 。 关 于 Python 项 目的 打包 、 发 布 和 分 发 相关 的 所 有 一 切 都 手 


动 完成 。 当 时 没有 真正 的 标准 ， 每 个 项 目 都 有 一 个 见长 的 README 文件 ， 用 来 描述 


如 何 安装 所 有 依赖 项 。 


较 大 项 目 使 用 了 系统 打包 工具 来 发 布 一 无论 是 Debian 软件 包 、Red Hat Linux 


发 行 版 的 RPM 软件 包 ， 还 是 Windows 的 MSI 软件 包 。 最 终 ， 这 些 项 目 中 的 Python 
模块 出 现在 Python 安装 程序 下 的 site-packages 目录 中 。 如果 有 C 语言 扩展 , 会 放 在 编 


译 阶段 后 。 


此 后 ，Python 的 打包 生态 系统 演进 了 很 多 。1998 年 ，Distutils 被 添加 到 标准 库 中 ， 
为 Python 项 目 提供 基本 支持 ， 可 创建 能 安装 的 分 发 版 本 。 从 那 时 起 ， 社 区 中 涌现 出 许 


多 新 工具 ， 能 改进 Python 项 目的 打包 、 发 布 和 分 发 。 
本 章 将 解释 如 何在 微服 务 上 使 用 最 新 的 Python 打包 工具 。 


另 一 个 关于 打包 的 热点 话题 是 如 何 让 它 匹 配 日 常 的 开发 工作 。 当 构建 基于 微服 务 
的 软件 时 ， 要 处 理 很 多 可 移动 部 件 。 在 特定 微服 务 上 工作 时 ， 通 过 使 用 TDD 或 其 他 


模拟 方法 (第 3 章 介绍 过 )， 大 多 数 情况 下 可 远离 这 些 部 署 处 理 。 


但 是 ， 如 果 想 执行 一 些 接近 真实 的 测试 ， 需 要 将 每 个 服务 都 试 一 试 ， 让 整个 服务 
栈 都 运行 在 单一 盒子 中 。 此 外 ， 如 果 需 要 随时 重新 安装 微服 务 的 新 版 本 ， 开 发 这 样 一 


个 环境 会 非常 繁杂 。 
它 引出 一 个 问题 : 


如 何在 环境 中 正确 安装 整个 微服 务 栈 ， 并 进行 开发 ? 


这 也 意味 着 如 果 想 使 用 应 用 ， 就 必须 运行 全 部 微服 务 。 在 Runnerly 中 ， 要 打开 6 
个 不 同 的 shell 来 运行 所 有 微服 务 , 这 不 应 该 是 开发 人 员 在 每 次 运行 应 用 时 都 必须 要 做 


的 事情 。 
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本 章 将 介绍 如 何 利用 打包 工具 从 同一 环境 运行 所 有 微服 务 。 然 后 通过 一 个 专用 进 
程 管理 器 ， 只 执行 一 条 命令 就 运行 所 有 微服 务 。 
首先 分 析 如 何 打包 项 目 ， 以 及 打包 时 应 使 用 哪些 工具 。 


9.1 打包 工具 链 


过 去 十 年 中 ，Python 在 打包 方面 已 经 演进 了 许多 。 人 们 编写 了 大 量 Python 增强 
建议 Python Enhancement Proposal，PEP)， 这 些 PEP 用 来 改进 Python 项 目的 安装 、 发 
布 和 分 发 。 

Distutils 存 在 一 些 缺 陷 ， 这 使 得 发 布 应 用 较为 繁杂 。 最 大 的 痛 点 是 缺少 依赖 管理 以 
及 处 理 编译 和 二 进 制 发 布 包 的 方式 ,所 有 与 编译 有 关 的 一 切 在 20 世纪 90 年 代 可 奏效 ， 
但 十 年 后 就 开始 过 时 了 。 因 为 缺乏 兴趣 ， 核 心 团队 中 没 人 改进 这 个 库 ， 而 且 Distutils 
对 于 编译 Python 和 大 多 数 项 目 已 足够 用 了 。 需 要 高 级 工具 的 人 员 会 使 用 其 他 工具 ， 如 
SCons(http://scons.org/)。 

由 于 很 多 遗留 系统 基于 Distutils， 因 此 改善 工具 链 并 非 易 事 。 从 头 启动 一 个 新 的 
打包 系统 相当 困难 ， 由 于 Distutils 是 标准 库 的 一 部 分 ， 所 以 引入 向 后 兼容 的 更 改 也 很 
难 。 改 进 要 在 新 旧版 本 之 间 进 行 。 诸 如 Setuptools 和 Virtualen 的 项 目 在 标准 库 之 外 创 
建 ， 一 些 更 改 被 直接 引入 Python 。 

即便 在 今天 ， 依 然 能 找到 这 些 变化 留 下 的 疤痕 ， 而 且 很 难 确定 这 一 切 是 如 何 完 成 
的 。 例 如 ，pyvenyv 命令 曾 被 添加 到 Python， 后 来 在 Python 3.6 中 又 移 了 除了， 但 Python 
仍然 附带 虚拟 环境 模块 ， 在 某 些 方面 该 模块 与 Virtualen 项 目 存在 冲突 。 

最 佳 选择 是 使 用 那些 在 标准 库 以 外 开发 和 维护 的 工具 ， 因 为 它们 的 发 布 周期 比 
Python 短 。 换 言 之 ， 标 准 库 的 更 改 需要 几 个 月 才能 发 布 ， 而 第 三 方 项 目的 发 布 更 快 。 

所 有 被 认为 是 事实 标准 的 第 三 方 打包 工具 链 项 目 现在 都 在 PyPAChttps:/www. 
pypa.io) 项 目 进行 分 组 。 

除了 开发 工具 ，PyPA 还 通过 建议 PEP 的 方式 改进 打包 标准 ， 并 开发 早期 规范 ， 
请 参阅 https:/www.pypa.io/en/latest'roadmap/. #1) 2017 年 ， 对 于 如 何 打包 仍 存在 疑惑 ， 
为 存在 多 个 竞争 标准 ， 但 问题 在 整体 上 得 到 改善 ， 也 许 未 来 会 更 好 。 

在 开始 研究 应 该 使 用 的 工具 前 ， 需 要 讲述 一 些 定义 以 避免 混淆 。 


DH 


9.1.1 一 些 定义 


当 我 们 讨论 打包 Python 项 目的 话题 时 ， 对 一 些 术语 可 能 感到 困惑 ， 它 们 的 定义 随 
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时 间 演 变 ， 甚 至 在 Python 领域 外 它们 有 不 同 的 含义 。 
我 们 需要 定义 什么 是 Python 包 、 Python 项 目 、Python 库 和 Python 应用。 定义 如 下 : 
e Python 包 (Python package) 是 包含 Python 模块 的 目录 树 。 可 导入 它 ， 它 是 模块 
命名 空间 的 一 部 分 。 
e Python 项 目 (Python project) 可 包含 多 个 包 和 其 他 资源 ， 是 你 要 发 布 的 东西 。 用 
Flask 构建 的 每 个 微服 务 都 是 Python 项 目 。 
e Python 应 用 (Python application) 是 一 个 可 通过 用 户 接口 直接 使 用 的 Python 项 
目 。 用 户 接口 可 以 是 命令 行 脚 本 或 Web 服务 器 。 
e ipa, Python 库 (Python library) 是 一 种 特定 类 型 的 Python 项 目 ， 它 提供 特定 功 
能 供 其 他 Python 项 目 使 用 ， 但 没有 直接 的 用 户 接口 。 
应 用 和 库 之 间 的 区 别 可 能 十 分 模糊 ， 因 为 一 些 库 最 初 是 为 了 给 其 他 项 目 提供 功能 
的 Python 包 ， 有 时 也 会 提供 一 些 命令 行 工具 来 公开 功能 。 此 外 ， 有 时 一 个 库 项 目 也 可 
能 变 成 应 用 。 
为 简化 流程 ， 最 好 不 对 应 用 和 库 进 行 清晰 区 分 。 在 技术 方面 唯一 的 区 别 是 ， 应 用 
提供 更 多 数据 文件 和 控制 台 脚 本 。 
现在 已 经 定义 了 Python 包 、 项 目 、 应 用 和 库 ， 下 面 介 绍 如 何 打包 项 目 。 


zi 


9.1.2 打包 


打包 Python 项 目 时 ， 要 有 三 个 必需 的 文件 : 

e setup.py: 一 个 特殊 模块 ， 用 来 驱动 一 切 。 

e requirements.txt: 一 个 文件 ， 列 出 所 有 依赖 项 。 

。 MANIFEST.in: 一 个 模板 文件 ， 用 于 列 出 要 包括 在 发 布 中 的 文件 。 
接 下 来 详细 介绍 其 中 每 一 项 。 


1. setup.py 文件 


setup.py 文件 负责 管理 要 与 Python 项 目 交 互 的 一 切 信息 。 执 行 setup0 方 法 时 ， 会 
生成 一 个 符合 PEP 314 格式 的 元 数据 文件 。 这 个 元 数据 文件 包含 项 目的 所 有 元 数据 ， 
要 将 它 放 到 你 使 用 的 Python 环境 中 ， 只 能 通过 调用 setup0 重 新 生成 它 。 

不 能 使 用 静态 版 本 的 原因 是 项 目的 作者 可 能 在 setup.py 中 编写 与 平台 相关 的 代 
码 。 根 据 不 同 的 平台 和 Python 版 本 ， 它 会 生成 不 同 的 元 数据 文件 。 

但 通过 运行 Python 模块 来 提取 项 目的 静态 信息 常 出 现 问题 。 因为 需要 确保 模块 的 

代码 可 运行 在 目标 环境 的 Python 解释 器 上 。 如 果 想 让 微服 务 对 开发 者 社区 开放 ， 要 注 
它 可 能 被 安装 在 不 同 Python 环境 中 。 


> 


ae. 
© 
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OH PEP 390(2009) 是 第 一 次 抛弃 使 用 setup py 生成 元 数据 的 尝试 。PEP 426、 


PEP 


508 和 PEP 518 是 解决 这 个 问题 的 新 尝试 ,但 在 2017 年 ， 我 们 依然 没有 支持 
静态 元 数据 的 工具 ， 可 能 需要 很 长 时 间 等 所 有 人 都 使 用 了 新 标准 后 才能 出 现 


这 样 的 工具 。 所 以 setup.py 文件 还 将 持续 一 段 时 间 。 


创建 setup.py 文件 时 的 常见 错误 是 : 在 setup.py 中 导入 依赖 的 包 。 如 果 使 用 诸如 
PIP 的 工具 尝试 运行 setup.py 来 读 取 元 数据 ， 在 列 出 所 有 待 安装 的 依赖 项 前 ， 它 可 能 


先 抛 出 导入 错误 。 


唯一 可 用 来 在 setup.py 文件 中 直接 导入 的 依赖 项 是 Setuptools, 因为 可 假定 任 


E 何 试 


图 安装 项 目的 人 都 已 安装 了 Setuptools。 


另 一 个 重要 考虑 因素 是 描述 项 目的 元 数据 。 虽 然 只 包含 名 称 、 版 本 、URL 和 作者 


项 目 即 可 工作 ， 但 对 描述 项 目 来 说 ， 这 些 信息 显然 不 够 。 


元 数据 字段 通过 setup0 的 参数 进行 设 定 。 有 些 直接 和 元 数据 匹配 ， 有 些 没有 。 


以 下 是 微服 务 项 目 使 用 的 最 小 参数 集 : 

e name: 包 名 ， 是 简短 的 小 写字 母 名 称 。 

e version: 项 目的 版 本 号 ， 需 要 符合 PEP 440 定义 。 

e ul: 项 目的 URL， 可 以 是 项 目的 代码 库 或 主页 。 

e description: 描述 项 目的 一 句 话 。 

e long description: 一 个 reStructuredText 格式 的 文档 。 

e author 和 author email: 作者 或 组 织 的 姓名 和 邮箱 。 

o license: 项 目 使 用 的 许可 信息 (MIT、Apache2、GPL 等 )。 
e. 

e 


classifiers: 从 固定 列表 中 选取 的 分 类 器 列表 ， 需 要 符合 PEP 301 定义 。 


keywords: 描述 项 目的 标签 -一 将 项 目 发 布 到 Python 包 索 引 (PyPD 时 很 有 用 。 


e packages: 项 目 包 含 的 包 列 表 一 一 通过 Setuptools 的 find_packages0 方 法 可 自动 


填充 该 参数 。 
e install requires: 依赖 项 列表 (一 个 Setuptools 参数 )。 


e entry_points: Setuptools 钩子 的 列表 ， 如 控制 台 脚 本 (一 个 Setuptools 选项 )。 


e include package data: 一 个 标识 ， 简 化 了 包含 的 非 Python 文件 。 

e zip safe: 一 个 标识 ， 它 阻止 Setuptools 将 项 目 安装 为 ZIP 文件 ， 是 旧 标 
执行 的 eggs)。 

下 面 是 包含 这 些 选项 的 setup.py 文件 示例 : 


from setuptools import setup, find packages 


with open('README.rst') as f: 


准 (可 
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LONG DESC = f.read() 


setup (name='MyProject', 

version='1.0.0', 

url='"http://example.com', 

description='This is a cool microservice based on strava.', 

long_description=LONG DESC, 

author='Tarek', author _email='tarek@ziade.org', 

license='MIT', 

classifiers=[ 
"Development Status :: 3 - Alpha', 
"License :: OSI Approved :: MIT License’, 
‘Programming Language :: Python :: 2', 
"Programming Language :: Python :: 3'], 

keywords=['flask', 'microservice', 'strava'], 

packages=find_ packages (), 

include _package_data=True, 

zip_safe=False, 

entry points=""" 

[console scripts] 

mycli = mypackage.mymodule:myfunc 

iii i 

install_requires=['stravalib']) 


) 


long_description 参数 通常 从 READMErst 文件 提取 ， 旨 在 避免 在 函数 中 处 理 一 大 
HE reStructuredText 格式 的 字符 串 。 


@ restructured text-lint 28 £| (https://github.com/twolfson/restructuredtext-lint) "T A) 
于 校 验 reStructuredText 文件 的 语法 检测 器 。 


拆 分 描述 信息 的 另 一 个 好 处 是 : 大 多 数 编辑 器 会 自动 识别 、 分 析 和 显示 它们 。 例 
QU, GitHub 将 它 用 作 代 码 库 的 目录 页 面 , 而 且 提供 一 个 内 内 的 reStructuredText 编辑 器 ， 
允许 直接 在 浏览 器 中 修改 。PyPI 在 项 目 首页 也 支持 类 似 的 显示 。 

license 字 段 是 自由 格式 , 只 要 人 们 能 识别 所 使 用 的 许可 方式 即 可 。 如 果 使 用 Apache 
Public Licence Version 2(APL v2)， 就 可 满足 要 求 。 任 何 情况 下 ， 一 个 作为 官方 描述 许 
可 信息 的 LICENCE 文 件 应 该 与 setup.py 文 件 放 在 一 起 。 

classifiers 参数 写 起 来 可 能 最 麻烦 。 需 要 使 用 来 自 https:/pypipython.org/ 
pypi?%3Aaction=list_classifiers 的 字符 串 对 项 目 进行 分 类 。 开 发 人 员 使 用 的 三 个 最 常见 
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分 类 器 是 支持 Python 的 版 本 列表 、license( 和 1license 参 数 重 复 而 且 要 保持 一 致 ;， 以 及 指 
示 项 目 成 熟 度 的 开发 状态 。 

要 将 项 目 发 布 到 Python 的 包 索 引 (Python Package Index，PyPD 上 ， 关 键 字 是 让 项 
目 显眼 的 好 方法 。 例 如 ， 如 果 创 建 一 个 Flask 微服 务 ， 应 使 用 Flask 和 microservice 作 
为 关键 字 。 


@ Trove 分 类 器 是 一 个 机 器 解析 的 元 数据 ,可 用 来 与 PyPI 交互 .例如 ,zc.buildout 
工具 会 使 用 Framework :: Buildout :: Recipe 分 类 器 来 查找 包 。 


entry_points 部 分 是 类 似 于 NI 的 字符 串 ， 它 定义 Setuptools 的 入 口 点 ， 一 旦 将 项 
目 安装 在 Python 中 ， 就 可 作为 插件 调用 。 最 常见 的 入 口 点 类 型 是 控制 台 脚 本 。 在 该 部 
分 添加 函数 时 ， 将 在 Python 解释 器 所 在 的 目录 中 安装 命令 行 脚 本 ， 并 通过 入 口 点 和 
函数 挂 钧 。 这 是 一 种 给 项 目 创建 命令 行 交互 界面 (Command-Line Interface，CILD 的 好 方 
Yo 在 示例 中 ， 当 项 目 安装 后 , 可 在 shell 中 直接 使 用 mycli 命令 行 。 Python 的 Distutils 
具有 相似 功能 ， 但 Setuptools 做 得 更 好 ， 因 为 它 允 许 指定 特定 函数 。 

最 后 ，install requires 列 出 所 有 依赖 项 。 这 个 列表 包含 用 到 的 其 他 项 目 ， 在 安装 项 
目的 过 程 中 ， 诸 如 PIP 的 项 目 会 用 到 它们 。 如 果 这 些 项 目 也 发 布 在 PyPI 上 ，PIP 会 找 
到 依赖 项 然后 安装 。 

一 旦 创建 setup.py 文件 ， 尝 试 的 一 个 好 方法 是 创建 本 地 虚拟 环境 。 

假设 已 安装 virtualen， 如 果 在 包含 setup.py 的 目录 中 运行 这 些 命令 ， 它 将 创建 一 
些 目录 ， 其 中 的 bin 目录 包含 一 个 局 部 Python 解释 器 。 然 后 可 进入 本 地 shell。 


$ virtualen . 
$ source bin/activate 
(thedir) $ 


这 里 ,运行 pip install -e 命令 会 在 可 编辑 模式 下 安装 项 目 。 这 个 命令 通过 读 取 setup 
文件 来 安装 项 目 ， 但 安装 过 程 就 地 进行 。 就 地 安装 的 含义 是 ， 可 直接 在 项 目的 Python 
模块 上 进行 工作 ， 它 们 通过 site-packages 目录 链接 到 Python 的 本 地 安装 位 置 。 

使 用 普通 install 命令 会 将 文件 拷贝 到 本 地 的 site-packages 目录 中 ， 对 源 代码 的 改 
变 不 影响 任何 已 安装 的 版 本 。 

PIP 调用 还 生成 MyProject.egg-info 目录 ， 其 中 包含 元 数据 。 在 下 例 中 ，PIP 在 
PKG-INFO 下 生成 元 数据 规范 的 1.1 版 本 。 


$ more MyProject.egg-info/PKG-INFO 
Metadata-Version: 1.1 
Name: MyProject 
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Version: 1.0.0 

Summary: This is a cool project. 
Home-page: http://example.com 
Author: Tarek 

Author-email: tarek@ziade.org 
License: MIT 

Description: MyProject 


I am the **long** description. 
Keywords: flask,microservice,strava 
Platform: UNKNOWN 
Classifier: Development Status :: 3 - Alpha 
Classifier: License :: OSI Approved :: MIT License 
Classifier: Programming Language :: Python :: 2 
Classifier: Programming Language :: Python :: 3 


这 个 元 数据 文件 用 来 描述 项 目 , 还 用 来 通过 其 他 命令 把 项 目 注册 到 PyPI 上 。 本 章 


后 面 将 详细 介绍 。 


通过 在 PyPI(https://pypipython.org/pypi) 中 查找 ，PIP 调 用 会 拉 取 所 有 依赖 项 ， 并 安 
装 到 本 地 site-packages 目 录 下 。 要 确保 一 切 都 符合 预期 ， 运 行 这 个 命令 是 个 好 方法 。 
我 们 需要 深入 讨论 install requires 参数 。 它 与 男 一 种 列 出 项 目 依 赖 项 的 方法 存在 


冲突 ， 即 requirements.txt 文件 ， 下 一 节 将 介绍 该 文件 。 


2. requirement.txt 文 件 


PIP 社区 涌现 的 一 个 标准 是 使 用 requirements.txt 文件 ， 它 列 出 项 目的 所 有 依赖 项 ， 
还 提供 扩展 语法 来 安装 可 编辑 的 依赖 项 。 请 参考 https://pip.readthedocs.io/en/stable/ 


reference/pip_install/#requirements-file-format. 


下 面 是 该 文件 的 一 个 例子 : 


arrow 
python-dateutil 
pytz 

requests 

Six 

stravalib 


units 


社区 广泛 采纳 该 文件 ， 因 为 这 样 可 更 容易 地 记录 依赖 项 。 可 在 项 目 


FP 创建 尽 可 能 多 


202 


Python 微服 务 开发 


的 requirements 文件 ， 并 允许 用 户 调 用 pip install -rthefile ,txt 命令 来 安装 其 中 描述 的 包 。 
例如 ， 可 以 有 一 个 dev-requirements.txt 文件 ， 其 中 包含 开发 阶段 的 额外 工具 ; 或 
者 一 个 prod-requirements.txt 文件 ， 其 中 包含 生产 环境 需要 的 东西 。 该 格式 允许 使 用 继 


承 方式 来 管理 这 些 requirements 文件 集合 。 


但 使 用 requirements 文件 会 增加 一 个 新 间 题 ， 它 与 setup.py 文件 中 install requires 


部 分 的 信息 重 登 。 


为 解决 该 新 问题 ,一些 开 发 者 对 两 者 进行 区 分 ,一 个 用 来 给 Python 库 提供 依赖 信 


息 ， 另 一 个 用 来 给 Python 应 用 提供 依赖 信息 。 


在 库 的 setuppy 文 件 中 使 用 install requires ， 在 用 来 部 署 的 应 上 


中 使 月 


H PIP 


requirement 文 件 。 换 句 话说 ，Python 应 用 是 不 会 使 用 setup.py 文 件 中 的 install_ requires 来 


定义 依赖 项 的 。 


项 。 也 意味 着 对 于 库 类 型 的 项 目 ， 将 失去 使 用 requirements 文 件 的 好 处 。 


同方 式 描述 Python 项 目 依赖 关系 而 导致 问题 变 得 复杂 。 


文件 的 内 容 。 


但 这 意味 着 安装 应 用 需要 一 个 特定 安装 流程 ， 首 先 使 用 requirements 文 件 安装 依赖 
和 面 已 介绍 过 ， 因 为 应 用 和 库 之 间 的 区 别 相当 模糊 ， 我 们 不 希望 由 于 使 用 两 种 不 


为 避免 在 这 两 处 重复 信息 ,社区 中 有 一 些 工具 ,能 自动 同步 setup.py 和 requirements 


pip-tools(https://github.com/jazzband/pip-tools) 就 是 其 中 之 一 ， 它 通过 pip-complie 


CLI 生成 一 个 requirements.txt 文件 (或 其 他 文件 名 )， 如 下 : 


$ pip install pip-tools 


$ pip-compile 

# 

# This file is autogenerated by pip-compile 
# To update, run: 


# 

# pip-compile --output-file requirements.txt setup.py 
# 

arrow==0.10.0 # via stravalib 
python-dateutil==2.6.0 # via arrow 

pytz==2017.2 # via stravalib 
requests==2.13.0 # via stravalib 

six==1.10.0 # via python-dateutil, stravalib 


stravalib==0.6.6 


units==0.7 # via stravalib 


第 9 章 打包 和 运行 Runnerly 


要 注意 生成 的 文件 包含 每 个 包 的 版 本 信息 ， 这 称 为 版 本 锁定 (version pinning)， 是 
根据 本 地 安装 的 版 本 填写 的 。 

声明 依赖 项 时 ， 最 好 在 发 布 项 目前 锁定 所 有 依赖 项 。 这 将 确保 记录 的 版 本 在 发 布 
时 会 被 使 用 和 测试 。 

如 果 不 使 用 pip-tools，PIP 有 个 内 置 命令 freeze， 可 用 来 生成 Python 中 安装 的 所 
有 当前 版 本 的 列表 。 下 面 是 示例 : 


$ pip freeze 


cffi==1.9.1 
click==6.6 
cryptography==1.7.2 
dominate==2.3.1 
flake8==3.2.1 
Flask==0.11.1 


当 锁定 依赖 项 时 ， 唯 一 的 问题 是 其 他 项 目 使 用 相同 依赖 项 但 锁定 了 不 同 版 本 。 此 
时 PIP 会 抱怨 说 不 能 同时 满足 两 个 requirements 集 ， 将 无 法 完成 安装 。 

解决 此 问题 的 最 简单 方法 是 将 未 锁定 的 依赖 项 放 在 setup.py 文 件 中 , 将 锁定 的 放 在 
requirements.txt 文 件 中 。 该 方法 可 让 PIP 安 装 每 个 包 的 最 新 版 本 。 部 署 时 ， 特 别 是 在 生 
产 环 境 中 ， 可 运行 pip install -r requirements.txt 命 令 来 刷新 版 本 。PIP 将 升级 /降级 所 有 依 
赖 项 以 匹配 版 本 ， 当 需要 时 ， 可 在 requirements 文 件 中 调整 它们 。 

总 之 ， 应 在 每 个 项 目的 setup.py 文件 中 定义 依赖 项 。 只 要 有 一 个 重 现 流程 ， 就 可 
根据 setup.py 文件 生成 requirements 文件 来 避免 重复 ， 并 用 requirements 文件 提供 锁定 
的 依赖 项 。 

项 目 中 的 最 后 一 个 必需 文件 是 MANIFEST.in。 


3. MANIFEST.in 文件 


创建 源码 或 二 进 制版 本 时 ，Setuptools 将 包括 所 有 包 模 块 、 数 据 文件 以 及 setup.py 
文件 , 还 有 其 他 自动 包含 在 tar 包 中 的 文件 。 但 并 不 包含 诸如 PIP requirements 的 文件 。 

为 将 这 些 文 件 添加 到 分 发 版 本 中 , 需要 添加 MANIFESTin 文件 , 其 中 定义 要 包含 
的 文件 列表 。 

该 文件 遵循 简单 语法 ， 类 似 于 glob ， 请 参考 https://docs.python.org/3/distutils/ 
commandref.html#creating-a-source-distribution-the-sdist-command. 在 该 文件 中 指定 一 个 
文件 或 一 个 目录 (包括 glob 模式 )， 并 表示 是 否 要 包含 或 修剪 匹配 项 。 
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下 例 来 自 Runnerly: 


include requirements.txt 

include README.rst 

include LICENSE 

recursive-include myservice *.ini 

recursive-include docs *.rst *.png *.svg *.css *.html conf.py 


prune docs/build/* 


docs/ 目 录 包 含 Sphinx 格式 的 文档 , 这 些 问 题 将 被 集成 在 源 代码 分 发 版 本 中 , 但 当 
构建 文档 时 ， 在 本 地 docs/build/ 生 成 的 任何 制品 都 会 被 修剪 。 

一 旦 有 了 MANIFESTin 文件 ， 在 发 布 项 目 时 ， 所 有 文件 都 应 添加 到 分 发 版 本 中 。 
注意 可 使 用 distutils 的 check-manifest 命令 来 检查 文件 的 语法 和 有 效 性 。 

本 书 介绍 的 典型 微服 务 项 目 包含 以 下 文件 : 
setup.py: 安装 设置 文件 。 
README rst: long description 参数 的 内 容 。 
MANIFEST.in: MANIFEST 模板 。 
requirements.txt: 从 install requires 生成 的 PIP requirements 文件 。 
docs/: Sphinx 文档 。 
package/: 微服 务 代码 的 包 。 

至 此 ， 发 布 项 目 和 创建 源 代码 分 发 包 已 经 一 致 了 ， 源 代码 分 发 基本 也 是 结构 的 归 
档 文件 。 如 果 包 含 C 扩展 ， 还 可 创建 一 个 二 进 制 分 发 包 。 

在 讨论 如 何 创建 发 布 前 ， 先 介绍 如 何 选择 微服 务 版 本 号 。 


9.1.3 ”版 本 控制 


Python 打包 工具 不 强制 执行 特定 版 本 模式 。version 字段 可 以 是 任意 字符 串 。 由 于 
每 个 项 目 遵循 各 自 的 版 本 模式 ， 这 种 自由 度 成 为 一 个 问题 ， 有 时 版 本 也 不 兼容 安装 程 
序 和 工具 。 

要 了 解 版 本 模式 , 安装 程序 需要 知道 如 何 进行 版 本 排序 和 比较 , 需要 解析 字符 串 ， 
并 知道 一 个 版 本 是 否 比 另 一 个 更 旧 。 

早期 软件 使 用 的 版 本 方案 基于 日 期 , 如 果 软 件 发 布 于 2017 年 1 月 1 日 , 版 本 号 就 
是 20170101。 但 如 果 需 要 基于 分 支 进行 发 布 ， 就 有 问题 了 。 例 如 ， 如 果 软 件 的 版 本 2 
不 向 前 兼容 ， 那 么 开始 时 可 能 为 版 本 1 发 布 一 个 更 新 ， 用 来 与 版 本 2 同步 ， 使 用 日 期 
作为 版 本 号 将 使 版 本 1 的 发 布 版 看 起 来 比 某 些 版 本 2 更 新 。 

有 些 软件 将 增 量 版 本 和 日 期 合并 在 一 起 , 但 使 用 日 期 显然 不 是 处 理 分 支 的 最 佳 
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FH. 

还 有 很 多 关于 beta, alpha, release candidate. dev versions 等 版 本 方式 的 问题 。 开 
发 者 可 能 希望 将 一 个 版 本 标记 成 预 发 布 版 本 。 

例如 ， 当 Python 即将 推出 一 个 新 版 本 时 ， 会 使 用 rcX 标记 发 布 一 个 候选 版 ， 这 样 
社区 就 能 在 最 终 版 本 发 布 前 进行 尝试 。 如 3.6.0rc1、3.6.0rc2 等 。 

对 于 一 个 不 发 布 给 社区 的 微服 务 ， 使 用 这 样 的 标记 方式 通常 有 些小 题 大 做 了 。 但 
当 组 织 以 外 的 人 开始 使 用 你 的 软件 时 ， 版 本 标记 就 很 有 用 了 。 

假如 要 为 项 目 发 布 一 个 向 后 不 兼容 版 本 ， 发 布 候选 版 可 能 有 用 ， 在 发 布 前 让 用 户 
试用 它 是 有 好 处 的 。 不 过 ， 对 于 通常 的 发 布 ， 使 用 发 布 候选 版 可 能 适得其反 ， 因 为 发 
现 问题 时 ， 发 布 新 版 本 的 成 本 很 低 。 


大 多 数 模式 下 ，PIP 做 得 比较 公正 ， 它 最 终 按 字母 来 排序 。 但 如 果 所 有 项 目 
都 使 用 相同 的 版 本 模式 ， 世 界 将 变 得 更 好 。 


PEP 386 和 440 的 编写 试图 为 Python 社区 提出 一 个 版 本 模式 。 它 派生 自 标准 的 
MAJOR.MINOR[PATCH] 方 案 ， 这 是 一 个 被 开发 者 广泛 采用 的 方案 ， 对 于 pre- 和 post- 
版 本 有 特定 规则 。 

Semantic Versioning(SemVer, http://semver.org/) 是 社区 涌现 的 男 一 个 标准 , 除 Python 
外 的 许多 地 方 都 在 使 用 它 。 如 果 使 用 SemVer， 只 要 不 使 用 pre-release 标记 ， 就 能 与 
PEP440 和 PIP 安装 器 保持 兼容 。 例 如 ， 在 SemVer 中 ，3.6.0rc2 会 转换 成 3.6.0-rc2。 

与 PEP 440 不 同 ，SemVer 要 求 提 供 三 版 本 号 。 例 如 ，1.0 应 该 是 1.0.0。 

只 要 移 除 用 来 分 离 版 本 和 标记 的 破 折 号 ， 采 用 SemVer 就 是 个 好 主意 。 

下 面 是 一 个 已 排序 的 项 目 版 本 列表 的 示例 。 都 适用 于 Python， 并 与 SemVer 十 分 
接近 : 


9.0 
0.0al 
0.0a2 
0.0b1 
0.0re1 
0.0 
e 1.0 
对 于 微服 务 项 目 (或 任何 Python 项目), 版 本 号 都 从 0.1.0 开始 。 这 样 清晰 地 说 明 当 
前 是 一 个 不 稳定 项 目 , 不 保证 支持 向 后 兼容 。 在 软件 足够 成 熟 前 , 可 不 断 增 加 MINOR 
版 本 号 。 
一 旦 成 熟 ， 常 见 模式 是 发 布 1.0.0， 然 后 开始 遵循 以 下 规则 : 
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e MAJOR 会 在 为 当前 API 引入 向 后 不 兼容 的 更 改 时 递增 ; 

e MINOR 会 在 添加 新 功能 但 不 破坏 现 有 API 时 递增 ; 

e PATCH 只 在 修复 bug 时 递增 。 

当 软件 处 在 早期 , 将 该 方案 严格 用 于 0.xx 序列 是 没 意 义 的 。 因 为 会 做 很 多 向 后 不 
兼容 的 更 改 ， 导 臻 MAJOR 版 本 号 变 成 一 个 大 数字 。 


0H 1.0.0 版 本 通常 是 开发 者 主观 控制 的 。 他 们 希望 这 是 第 一 个 稳定 发 布 版 本 。 因 
此 ， 当 软件 被 认为 稳定 时 ， 常 从 0x.x 突然 跳 到 1.0.0. 


对 于 库 ，API 是 所 有 公共 的 文档 化 功能 和 类 ， 其 他 开发 者 可 导入 和 使 用 。 

对 于 微服 务 ， 代 码 API FI HTTP API 存在 区 别 。 你 可 全 面 更 改 微服 务 项 目 中 的 整 
个 实现 ， 但 依然 使 用 相同 的 HTTP API。 要 清楚 对 待 这 两 种 API 版 本 。 

这 两 种 API 的 版 本 都 可 遵循 此 处 描述 的 模式 ， 但 一 个 版 本 记录 在 setup.py( 代 码 ) 
上 ， 一 个 发 布 在 Swagger 规范 文档 中 ， 或 用 于 记录 HTTP API 的 任何 文档 。 这 两 个 版 
本 有 不 同 的 发 布 周期 。 

现在 ， 已 经 知道 如 何 处 理 版 本 号 ， 开 始 发 布 吧 。 


9.1.4 发布 


要 发 布 项 目 ，Python 的 Distutils 库 中 提供 了 sdist 命令 。 

Distutils 有 一 系列 命令 可 通过 python setup.py <COMMAND> 方 式 来 调用 。 在 项 目 
根 目录 下 运行 python setup.py sdist 命令 会 生成 一 个 包含 项 目 源 代码 的 归档 文件 。 
在 下 例 中 ， 对 Runnerly 的 tokendealer 项 目 调用 sdist 命令 : 


$ python setup.py sdist 

running sdist 

[...] 

creating runnerly-tokendealer-0.1.0 

creating runnerly-tokendealer-0.1.0/runnerly_tokendealer.egg-info 
creating runnerly-tokendealer-0.1.0/tokendealer 

creating runnerly-tokendealer-0.1.0/tokendealer/tests 
creating runnerly-tokendealer-0.1.0/tokendealer/views 

copying files to runnerly-tokendealer-0.1.0... 

copying README.rst -> runnerly-tokendealer-0.1.0 

[...] 

copying tokendealer/tests/__init__.py -> runnerlytokendealer- 
0.1.0/tokendealer/tests 
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copying tokendealer/tests/test_home.py -> runnerlytokendealer- 
0.1.0/tokendealer/tests 

copying tokendealer/views/_ init .py -> runnerlytokendealer- 
0.1.0/tokendealer/views 

copying tokendealer/views/home.py -> runnerlytokendealer- 
0.1.0/tokendealer/views 

Writing runnerly-tokendealer-0.1.0/setup.cfg 

creating dist 

Creating tar archive 

removing 'runnerly-tokendealer-0.1.0' (and everything under it) 


sdist 命令 从 setup.py 和 MANIFESTin 文件 读 取信 息 , 然后 抓 取 所 有 文件 并 存放 到 
归档 文件 中 。 在 dist 目录 中 创建 结果 。 


$ ls dist/ 
runnerly-tokendealer-0.1.0.tar.gz 


注意 归档 文件 名 包含 项 目 名 和 版 本 。 该 存档 可 直接 使 用 PIP 来 安装 ， 安 装 时 使 
如 下 方式 : 


$ pip install dist/runnerly-tokendealer-0.1.0.tar.gz 
Processing ./dist/runnerly-tokendealer-0.1.0.tar.gz 
Requirement already satisfied (use --upgrade to upgrade): 
runnerlytokendealer== 
02250 Esco] 
Successfully built runnerly-tokendealer 


当 没 有 需要 编译 的 扩展 时 ， 源 码 发 布 已 经 足够 了 。 如 果 需 要 编译 ， 目 标 系统 有 必 
要 在 安装 时 再 编译 一 次 。 这 意味 着 目标 系统 需要 一 个 编译 器 ， 但 这 种 场景 并 不 常见 。 

另 一 种 方式 是 预 编译 源码 ， 然 后 给 每 个 目标 系统 创建 二 进 制 分 发 版 。Disutils 有 很 
多 bdist xxx 命令 进行 二 进 制 分 发 ， 但 这 些 命令 已 不 再 维护 了 。 新 方法 是 在 PEP427 中 
定义 Wheel 格式 。Wheel 格式 是 一 个 ZIP 文件 , 包含 部 署 到 目标 系统 需要 的 所 有 文件 ， 
不 要 求 在 安装 时 重新 运行 命令 。 

如 果 项 目 没有 C 扩展 ， 那 么 发 布 Wheel 分 发 版 很 有 益处 。 因 为 安装 过 程 比 sdist 
更 快 ， 此 时 PIP 只 是 移动 文件 ， 不 需要 运行 任何 命令 。 

要 构建 Wheel 归档 文件 ， 需 要 安装 wheel 项 目 ， 然 后 调用 bdist_wheel 命令 (此 命 
令 将 在 dist 目录 创建 一 个 新 的 存档 文件 )。 


$ pip install wheel 
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$ python setup.py bdist_wheel --universal 

$ 1s dist/ 

runnerly-tokendealer-0.1.0.tar.gz 
runnerly_tokendealer-0.1.0-py2.py3-none-any .whl 


注意 示例 在 调用 bdist wheel 时 使 用 了 -universal 标识 。 
如 果 项 目 兼容 Python 2 和 3， 该 标识 意味 着 命令 生成 的 源 代码 发 布 包 可 同时 在 两 
个 环境 安装 ， 安 装 时 不 需要 额外 步骤 (如 2 到 3 的 转换 )。 如 果 没 有 该 标识 ， 在 安装 时 
会 创建 runnerly_tokendealer-0.1.0-py2.py3-none-any.whl 文件 ， 告 知 该 发 布 包 只 能 用 在 
Python 3 上 。 

如 果 有 C 扩展 ，bdist_wheel 会 检测 到 它 ， 然 后 创建 一 个 平台 特定 的 分 发 版 ， 该 分 
发 版 包含 已 编译 的 扩展 。 这 种 情况 下 ， 文 件 名 中 的 none 被 蔡 换 成 平台 名 。 

WA C 扩展 未 绑 定 到 特定 系统 库 上 ， 创 建 平台 特定 发 布 包 是 没 问题 的 。 如 果 有 比 
定 ， 二 进 制 发 布 包 可 能 无 法 在 任何 系统 上 工作 ， 尤 其 当 目 标 系统 有 相同 库 的 不 同 版 本 
时 。 发 布 一 个 能 在 所 有 环境 都 正常 工作 的 二 进 制 发 布 包 是 很 难 的 。 有 些 项 目 会 将 使 用 
的 所 有 扩展 库 通过 静态 连接 打包 在 一 起 。 通 常 ， 在 写 一 个 微服 务 时 很 少 使 用 C 扩展， 
所 以 源 代码 分 发 包 已 经 足够 了 。 

发 布 sdist 和 Wheel 分 发 是 最 佳 实践 。 诸 如 PIP 的 安装 器 会 选择 wheel， 项 目 在 安 
装 时 比 sdist 发 布 包 更 快 。 换 句 话 说 ，sdist 发 布 包 可 用 在 较 旧 的 安装 器 中 , 或 用 于 手动 

一 旦 归档 文件 准备 就 绪 ， 即 可 考虑 如 何 分 发 它们 。 


9.15 分 发 


开发 开源 项 目 时 ， 将 项 目 发 布 到 PyPI(https://pypipython.org/pypi,) 是 很 好 的 实践 。 

与 很 多 现代 编程 语言 生态 一 样 ， 安 装 器 会 浏览 索引 并 查找 发 布 版 ， 然 后 下 载 。 

当 调 用 pip install <projec 亿 命令 时 , PIP 会 浏览 PyPI 索引 查找 项 目 是 否 存 在 , 以 及 
是 否 有 适合 平台 的 分 发 包 。 

公开 的 名 称 是 在 setup.py 文件 中 使 用 的 名 称 , 需要 将 它 注册 到 PyPI 以 便 能 公开 分 
发 包 。 索 引 遵循 “ 先 到 先 服务 ”原则 ， 所 以 如 果 名 称 被 占用 ， 就 需要 换 一 个 。 

为 应 用 或 组 织 创建 微服 务 时 , 可 给 项 目 添加 公共 前 级 。 Runnerly 应 用 使 用 runnerly 
作为 前 级 。 

在 包 级 别 上 ， 前 级 有 时 也 有 助 于 避免 冲突 。 

Python 有 一 个 包 名 空间 功能 ,允许 创建 顶级 包 名 (如 runnerly), 然后 将 多 个 项 目 最 
终 安 装 在 顶级 runnerly 包 下 。 
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其 效果 是 ， 当 导入 时 ， 每 个 包 都 获得 公用 的 runnerly 名 称 空间 ， 这 是 将 代码 分 组 
到 同一 标记 下 的 优雅 方法 。 可 通过 标准 库 中 的 pkgutil 模块 使 用 该 功能 。 

为 使 用 该 功能 ， 只 需要 在 每 个 项 目 中 创建 同样 的 顶级 目录 ， 通 过 在 _init py 包 
含 所 有 绝对 导入 ， 将 顶级 名 称 用 作 前 级 。 


from pkgutil import extend path 
path = extend path( path _ , name ) 


举 个 例子 ， 在 Runnerly 中 ， 如 果 我 们 决定 用 同一 名 称 空间 发 布 所 有 项 目 ， 每 个 项 
目 有 相同 的 顶级 包 名 。tokendealer 可 像 下 面 这 样 : 
e runnerly 
e int py: 包含 extend_path 调用 
® tokendealer/ 
e .实际 代码 
dataservice 可 像 下 面 这 样 : 
e runnerly 
o init py: {4% extend path 调用 
@ dataservice/ 
e .实际 代码 
两 者 都 将 发 布 runnerly 顶级 包 ， 当 PIP 安装 它们 时 ，tokendealer 和 dataservice 包 
最 终 安装 在 相同 的 目录 (site-packages/runnerly) 中 。 
生产 环境 中 的 每 个 微服 务 都 独立 安装 ， 该 功能 在 生产 环境 没 多 大 用 处 ， 但 也 没 坏 
处 ;另外 ， 如 果 创 建 许多 跨 项 目 使 用 的 库 ， 该 方法 将 非常 有 用 。 
到 此 ， 我 们 假设 每 个 项 目 都 是 独立 的 ， 每 个 名 称 在 PyPI 中 都 是 可 用 的 。 
要 在 PyPI 上 发 布 ， 需 要 使 用 该 页 面 https://pypipython.org/pypi?%3Aaction= 
register_form) 的 表单 注册 一 个 新 用 户 ， 如 图 9-1 所 示 。 


Manual user registration 


This form allows “traditional” registration (using a password). Users who want to register with their OpeniD (e.g. Google 
or Launchpad account) should follow one of the links to the right. 


You can use your PyPI account to log into other services supporting OpenID. You need to first log into PyP! before 
logging into other services (doing it the other way is prone to phishing attacks). To log in, simply type pypi.python.org 
into the field asking for an OpenID. Your OpenID is https://pypi.python.org/id; you can also use this ID directly to log in. 
Username: 
Password: 
Confirm: 
Email Address: 
PGP Key ID (optional) (This identifies a PGP or GPG key) 


图 9-1 注册 一 个 新 用 户 
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一 旦 有 了 用 户 名 和 密码 ， 就 可 在 主 目录 创建 一 个 包含 凭证 信息 的 .pypirc 文件 ， 像 
下 面 这 样 : 
[pypi] 


username = <username> 


password = <password> 
每 次 与 PyPI 索 引 交互 时 ， 会 用 该 文件 创建 一 个 包含 基本 身份 验证 的 消息 头 。 
Python Distutils 有 注册 和 上 传 命令 ， 用 来 在 PyPI 上 注册 新 项 目 ， 但 Twine(https:// 


github.com/pypa/twine) 更 好 用 ， 用 户 界面 略 好 一 些 。 
一 旦 安装 Twine( 使 用 pip install twine 命令 )， 就 可 使 用 以 下 命令 来 注册 包 : 


$ twine register dist/runnerly-tokendealer-0.1.0.tar.gz 


该 命令 将 使 用 包 中 的 元 数据 信息 在 PyPI 创建 一 个 新 条 目 。 
- 旦 完成 ， 就 可 使 用 下 面 的 命令 上 传 分 发 文件 : 


$ twine upload dist/* 

这 样 , 你 的 包 应 该 上 传 到 PyPI, https://pypipython.org/pypi/<projec 亿 有 一 个 HTML 
主页 。 可 使 用 pip install <project> 命令 进行 安装 。 

现在 ， 已 经 知道 如 何 打包 每 个 微服 务 ， 为 让 开发 更 便捷 ， 接 下 来 分 析 如 何在 同一 
环境 中 运行 它们 。 


9.2 ”运行 所 有 微服 务 


可 使 用 内 置 的 Flask Web 服务 器 来 运行 微服 务 。 通 过 该 脚本 运行 Flask 应 用 时 需要 
设置 一 个 环境 变量 ， 该 环境 变量 指向 包含 Flask 应 用 的 模块 。 

在 下 面 的 Runnerly 应 用 例子 中 ，dataservice 微服 务 位 于 应 用 的 runnerly.dataservice 
模块 中 ， 可 用 以 下 命令 从 根 目录 运行 dataservice。 


$ FLASK_APP=runnerly/dataservice/app.py bin/flask run 

* Serving Flask app "runnerly.dataservice.app" 

* Running on http://127.0.0.1:5000/ (Press CTRL+C to quit) 
127.0.0.1 - -~ [01/May/2017 10:18:37] "GET / HTTP/1.1" 200 - 


使 用 Flask 命令 行 运行 应 用 是 很 好 的 方式 ， 但 限制 只 能 使 用 它 的 接口 参数 。 如 果 
需要 使 用 很 多 参数 来 运行 微服 务 ， 就 必须 添加 环境 变量 。 
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另 一 个 方法 是 使 用 argparse 模块 (https://docs.python.org/3/library/argparse.html) 创 建 
自己 的 运行 器 ， 给 每 个 微服 务 添加 任何 参数 。 

下 例 是 一 个 可 工作 的 运行 器 , 将 基于 argparse 的 命令 行 脚本 运行 Flask 应 用 。 它 接 
受 单一 参数 --config-file， 该 文件 包含 运行 微服 务 所 需 的 一 切 配置 。 


import argparse 
import sys 
import signal 


from .app import create_app 


def _quit (signal, frame): 
print ("Bye!") 
# add any cleanup code here 


sys.exit (0) 


def main(args=sys.argv[1:]): 
parser = argparse.ArgumentParser ( description='Runnerly 
Dataservice') 
parser.add_argument ('--config-file', help='Config file', 
type=str, default=None) 


args = parser.parse_args (args=args) 


app = create_app(args.config file) 

host = app.config.get("host', '0.0.0.0') 
port = app.config.get('port', 5000) 

debug = app.config.get('DEBUG', False) 
signal.signal(signal.SIGINT, quit) 
signal.signal(signal.SIGTERM, _quit) 
app.run(debug=debug, host=host, port=port) 


at name ==" main ": 


main () 


该 方法 提供 很 大 的 灵活 性 。 为 使 该 脚本 成 为 控制 台 脚本 , 需要 通过 entry points 参 
数 将 其 传递 给 setup 类 的 函数 ， 如 下 所 示 : 


from setuptools import setup，find packages 


from runnerly.dataservice import version 
setup (name='"runnerly-data', 
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version= version _, 
packages=find packages (), 
include package data=True, 
zip safe=False, 

entry points=""" 

[console scripts] 


runnerly-dataservice = runnerly.dataservice.run:main 


nam) 


通过 该 参数 ， 可 创建 一 个 runnerly-dataservice 控制 台 脚本 ， 并 将 其 链接 到 前 面 的 
maino ŽE. 


$ runnerly-dataservice --help 
usage: runnerly-dataservice [-h] [--config-file CONFIG_FILE] 


Runnerly Dataservice 


optional arguments: 
-h, --help show this help message and exit 
--config-file CONFIG FILE 
Config file 


$ runnerly-dataservice 

* Running on http://127.0.0.1:5001/ (Press CTRL+C to quit) 
* Restarting with stat 

* Debugger is active! 

* Debugger pin code: 216-834-670 


此 前 在 PIP 中 使 用 了 -e 参数 ， 以 便 在 开发 模式 下 运行 项 目 。 如 果 在 同一 个 Python 
下 对 所 有 微服 务 都 用 相同 参数 ， 就 能 在 同一 环境 中 使 用 各 自 的 运行 器 运行 它们 。 

你 可 创建 新 的 virtualen， 然 后 用 -e 在 requirements.txt 文件 中 链接 每 个 开发 目录 ， 
requirements.txt 文件 会 列 出 所 有 微服 务 。 

PIP 可 识别 出 Git URL, 并 在 环境 中 克隆 代码 库 , 这 样 创建 一 个 包含 所 有 代码 的 根 
目录 将 变 得 非常 方便 。 

例如 ， 下 面 的 requirements.txt 文件 指向 两 个 GitHub 仓库 : 


-e git+https://github.com/Runnerly/tokendealer .git#egg=runnerly- 
tokendealer 

-e git+https://github.com/Runnerly/data-service.git#egg= 
runnerly-data 
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这 时 ， 运 行 pip install -r requirements.txt 命令 将 两 个 项 目 克 隆 到 src 目录 ， 然 后 在 
开发 模式 下 安装 它们 ， 这 意味 着 可 直接 在 src/ 目 录 进行 修改 并 提交 代码 。 

最 后 ， 假 设 在 运行 微服 务 所 需 之 处 都 创建 了 控制 台 脚 本 ， 这 些 脚 本 将 添加 到 
virtualen 的 bin 目录 中 。 

运行 微服 务 难 题 的 最 后 一 部 分 是 避免 在 单独 bash 窗口 中 运行 每 个 控制 台 脚 本 。 
我 们 希望 用 一 个 脚本 来 管理 这 些 进 程 。 下 一 节 将 介绍 如 何 使 用 进程 管理 器 来 完成 此 
操作 。 
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第 2 章 介 绍 过 ， 基 于 Flask 的 应 用 通常 在 一 个 单线 程 环境 中 运行 。 

要 增加 并 发 ， 最 常见 的 模式 是 使 用 预 派 生 模式 (prefork mode)。 通 过 派生 若干 个 进 
程 ( 称 为 职 程 ) 来 同时 服务 于 多 个 客户 ， 这 种 方式 能 在 同一 个 套 接 字 上 接收 多 个 传 入 连 
接 。 套 接 字 可 以 是 TCP 套 接 字 或 Unix 套 接 字 。 当 客户 端 和 服务 器 都 在 同一 台 计 算 机 
上 运行 时 ， 可 使 用 Unix ERF: 因为 它们 基于 文件 来 交换 数据 ， 不 必 处 理 网 络 开销 ， 
因此 比 TCP 套 接 字 稍 快 。 当 应 用 通过 诸如 nginx 的 前 端 服务 器 代理 请 求 时 ， 常 见 做 法 
是 使 用 Unix 套 接 字 运行 Flask 应 用 。 

无 论 Unix 还 是 TCP， 每 当 一 个 请 求 到 达 套 接 字 时 ， 会 由 第 一 个 可 用 进程 接收 并 
处 理 。 至 于 哪个 进程 获取 哪个 请 求 ， 是 由 系统 套 接 字 API 完成 的 ， 这 些 API 在 系统 层 
面 带 有 锁 机 制 。 这 种 轮 询 机 制 能 在 所 有 进程 之 间 对 请 求 进行 负载 均衡 , 而 且 非 常 有 效 。 

为 在 Flask 应 用 使 用 该 模式 , 可 使 用 uwWSGIhttp://uwsgi-docs.readthedocs.io)。 通过 
设置 processes 参数 来 预 派生 多 个 进程 ， 然 后 服务 Flask 应 用 。 

uWSGI 工具 很 好 用 ， 有 多 个 参数 。 甚 至 还 有 通过 TCP 通信 的 自 有 二 进 制 协议 。 
对 于 给 Flask 应 用 提供 服务 来 说 ， 在 nginx HITP 服务 器 后 运行 自 有 二 进 制 协议 的 
UWSGI 是 不 错 的 方案 。uWSGI 负责 管理 进程 , 同时 与 nginx 或 其 他 HTTP 代理 进行 交 
互 ， 或 直接 与 终端 用 户 交 互 。 

然而 ，uWSGI 是 一 个 专门 运行 Web 应 用 的 工具 。 为 部 署 一 个 开发 环境 ， 其 他 进 
程 (如 Redis 实例 ) 需 要 与 微服 务 在 同一 环境 运行 ， 这 时 需要 使 用 另 一 个 进程 管理 器 。 

一 个 较 好 的 进程 管理 器 方案 是 Circus(http://circus.readthedocs.io),， 它 可 运行 任何 类 
型 的 进程 ， 即 便 不 是 一 个 WSGI 应 用 ， 它 也 能 绑 定 一 个 套 接 字 进行 进程 管理 。 换 句 话 
W, Circus 可 运行 有 多 个 进程 的 Flask 应 用 ， 也 可 管理 其 他 进程 。 

Circus 是 一 个 Python 应 用 ， 所 以 通过 pip install circus 命令 来 安装 它 。 一 旦 安装 完 
成 ， 就 会 获得 很 多 新 命令 。 两 个 最 基本 的 命令 是 circusd 和 circusctl， 前 者 是 一 个 进程 
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管理 器 ， 后 者 通过 命令 行 操控 进程 管理 器 。 

Circus 使 用 类 似 INI 格式 的 配置 文件 ， 可 在 其 中 的 特定 部 分 列 出 要 运行 的 命令 ， 
并 在 每 一 部 分 指定 需要 的 进程 数量 。 

Circus 也 能 绑 定 套 接 字 ， 通 过 文件 描述 符 让 派生 的 进程 使 用 它们 。 在 系统 上 创建 
套 接 字 时 ， 会 使 用 一 个 文件 描述 符 (File Descriptor, FD). FD 是 程序 用 来 访问 文件 或 
VO 资源 (比如 套 接 字 ) 的 系统 句柄 。 从 另 一 个 进程 派生 的 进程 将 继承 所 有 文件 描述 符 。 
通过 该 机 制 ， 由 Circus 启动 的 所 有 进程 都 可 共享 相同 的 套 接 字 。 

下 例 运行 两 个 命令 ， 一 个 为 serverpy 模块 的 Flask 应 用 运行 5 个 进程 ， 一 个 运行 
Redis 服务 器 进程 。 


[watcher:web] 
cmd = chaussette --fd $(circus.sockets.web) server.application 
use_sockets = True 


numprocesses = 5 


[watcher:redis] 
cmd = /usr/local/bin/redis-server 
use_sockets = False 


numprocesses = 1 


[socket : web] 
host = 0.0.0.0 
port = 8000 


socket:web 部 分 描述 用 来 绑 定 TCP 套 接 字 的 主机 和 端口 ，watcher:web 部 分 通过 
$(circus.sockets.web) 变 量 进行 引用 。 当 Circus 运行 时 ， 会 使 用 套 接 字 的 文件 描述 符 的 
值 来 蔡 换 变量 。 

使 用 circusd 命令 行 运行 该 脚本 : 


$ circusd myconfig.ini 


有 一 些 WSGI 的 Web 服 务 器 提供 运行 特定 文件 描述 符 的 选项 ， 但 大 多 数 服务 器 
不 公开 这 些 参 数 ， 它 们 会 在 给 定 主机 和 端口 绑 定 一 个 新 的 套 接 字 。 

Chaussette(http://chaussette.readthedocs.io/) 可 让 你 通过 一 个 FD 来 运行 现 有 的 大 多 
数 WSGI Web 服务 器 。 执行 pip install chaussette 命令 后 , 就 可 运行 各 种 后 端 Flask 应 用 
了 了， 这些 应 用 位 于 http ://chaussette.readthedocs.io/en/latest/#backends 页 面 的 列表 里 。 

对 我 们 的 微服 务 , 使 用 Circus 意味 着 可 通过 circusd 命令 给 每 个 服务 创建 一 个 观察 
器 和 套 接 字 部 分 。 
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唯一 区 别 是 ， 如 果 使 用 自己 的 启动 器 而 不 是 Chaussette 控制 台 ， 需 要 对 其 进行 调 
整 ， 以 便 使 用 文件 描述 符 来 运行 。 

下 面 的 例子 中 ， 当 使 用 -- 伺 选项 启动 微服 务 时 ，main0 函 数 会 使 用 Chaussette 的 
Imake_server0 函 数 : 


from chaussette.server import make server 


def main (args=sys.argv[1:]): 
parser = argparse.ArgumentParser ( description='Runnerly 
Dataservice') 
parser.add_argument('--fd', type=int, default=None) 
parser.add_argument ('--config-file', help='Config file', 
type=str, default=None) 
args = parser.parse_args (args=args) 
app = create_app(args.config file) 
host = app.config.get("host', '0.0.0.0') 
port = app.config.get('port', 5000) 
debug = app.config.get('DEBUG', False) 
signal.signal(signal.SIGINT, _quit) 
signal.signal (signal.SIGTERM, quit) 


def runner(): 
if args.fd is not None: 
# use chaussette 
httpd = make_server(app, host='fd://%d' % args.fd) 
httpd.serve forever () 
else: 


app. run (debug=debug, host=host, port=port) 


if not debug: 
runner () 
else: 
from werkzeug.serving import run_with_reloader 


run_with_reloader (runner) 
然后 ， 在 circus.ini 文件 中 进行 配置 : 


[watcher :web] 
cmd = runnerly-dataservice --fd $(circus.sockets.web) 


use_sockets = True 


215 


216 


Python 微服 务 开发 


numprocesses = 5 


[socket :web] 
host = 0.0.0.0 
port = 8000 


有 了 这 些 ， 如 果 需 要 调试 一 个 特定 微服 务 ， 那 么 常用 模式 是 在 将 要 调用 的 Flask 
视图 中 增加 一 个 pdb.set_trace0 调 用 。 

一 旦 在 代码 中 添加 该 调用 ， 就 可 通过 circusctl 停止 微服 务 ， 然 后 在 另 一 个 shell 中 
手动 运行 它 ， 这 样 就 能 启用 调试 模式 了 。 


@ circus 还 提供 将 stdout 和 stderr 流 重 定向 到 日 志文 件 的 功能 ， 以 便 给 调试 和 其 
他 许多 功能 提供 方便 ， 相 关 信 息 可 在 https://circus.readthedocs.io/en/latest/ 
for-ops/configuration/ 找 到 。 
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本 章 介绍 如 何 打 包 、 发布 和 分 发 每 个 微服 务 。 目 前 Python 打包 仍 需要 使 用 一 些 遗 
留 工具 ， 在 Python 和 PyPA 成 为 主流 前 ， 这 种 情况 将 持续 数 年 。 
但 只 要 有 了 标准 的 、 可 重复 的 、 文 档 化 方式 对 微服 务 进行 打包 和 安装 ， 就 已 经 够 


用 了 。 

运行 一 个 应 用 可 能 ~ 这 会 增加 部 署 复 杂 度 。 因 此 在 同一 个 环境 中 运 
行 所 有 东西 变 得 非常 重 

诸如 PIP ion Circus 的 工具 对 这 种 场景 很 有 用 ， 能 帮助 简化 运行 整 


个 栈 的 工作 ， 但 即便 这 些 都 在 一 个 virtualenv 中 ， 仍 需要 在 系统 中 安装 一 些 东 西 
在 环境 中 运行 所 有 东西 的 另 一 个 问题 是 ， 使 用 的 操作 系统 可 外 g 不 是 生产 环境 的 操 
作 系统 ， 或 为 其 他 目的 安装 的 库 会 造成 干扰 。 
防止 该 问题 的 最 佳 方式 是 在 虚拟 环境 中 完全 独立 地 运行 整个 应 用 栈 。 这 是 下 一 章 
将 讨论 的 内 容 ， 例 如 如 何在 Docker 内 运行 服务 。 
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前 一 章 中 ， 我 们 直接 在 宿主 机 的 操作 系统 上 运行 不 同 微服 务 。 因 此 ， 应 用 需要 的 
所 有 依赖 项 和 数据 都 直接 安装 到 操作 系统 上 。 
这 种 做 法 在 大 部 分 情况 下 是 可 行 的 。 因 为 通过 虚拟 环境 (virtualenv) 运 行 Python 应 

会 将 依赖 项 下 载 并 安装 到 单独 目录 中 。 但 若 应 用 使 用 了 数据 库 系统 ， 那 么 需要 
在 操作 系统 上 运行 数据 库 (除非 只 使 用 SQLite 文件 )。 对 某 些 Python 库 ， 系 统 中 可 能 需 
要 包含 某 些 头 文件 来 编译 扩展 。 

系统 很 快 就 会 安装 和 使 用 多 种 软件 。 在 开发 环境 下 ， 如 果 不 需 要 在 不 同 版 本 的 服 
务 上 工作 ， 这 样 做 就 不 会 有 问题 。 然 而 ， 如 果 其 他 一 些 潜在 贡献 者 试图 在 本 地 安装 应 
， 就 必须 在 系统 级 别 安装 许多 软件 ， 这 破坏 了 与 贡献 者 的 默契 。 

此 时 ， ng ee BAA 过 去 十 年 里 , 许多 软件 项 目 只 
有 精心 配置 才能 运行 ， 因此 它们 通过 VMWare 或 VirtualBox 等 工具 提供 了 可 立即 运行 
的 虚拟 机 。 See 如 预 置 的 数据 库 。 只 需要 一 个 命令 ， 就 可 在 
大 多 数 平 台 上 轻松 运行 演示 程序 。 

然而 ， 其 中 一 些 工具 并 不 完全 开源 ， 它 们 运行 起 来 非常 慢 ， 而 且 会 贪 禁 地 使 用 内 
存 和 CPU， 同时 磁盘 的 IO BIRIN. (REE EAP ST ET, Albay RE 
演示 中 使 用 

Docker the 场 革命 。 它 是 一 个 开源 的 虚拟 化 工具 ， 于 2013 年 第 一 次 发 布 ， 此 
后 变 得 非常 流行 。 此 外 ,与 VMWare 或 VirtualBox 不 同 ，Docker 能 在 生产 环境 中 以 原 
生 速 度 运行 应 用 。 

言 之 ， 为 应 用 创建 镜像 (image) 不 仅 是 为 了 演示 或 本 地 开发 ， 镜 像 可 用 在 真正 的 
部 署 环境 中 。 
本 章 将 介绍 Docker, 并 解释 如 何 用 它 来 运行 基于 Flask 的 微服 务 。 然 后 介绍 Docker 


区 
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生态 系统 中 的 一 些 工 具 。 最 后 介绍 集群 。 


10.1 何 为 Docker? 


Docker(https://www.docker.comy/) 项 目 是 一 个 容器 平台 ， 它 允许 应 用 运行 在 隔离 环 
SEA. Docker 利用 现 有 Linux 技术 (如 cgroups，https://en.wikipedia.org/wiki/Cgroups) 提 
供 一 组 高 级 工具 ， 来 驱动 一 系列 正在 运行 的 进程 。 由 于 Linux Kemel 是 必要 条 件 ， 因 
此 在 Windows 和 macOS E, Docker 需要 与 Linux 虚拟 机 交互 才 可 运行 。 

作为 Docker 用 户 ， 只 需要 指定 希望 运行 的 镜像 ，Docker 就 能 通过 与 Linux 内 核 的 
交互 来 完成 所 有 繁重 工作 。 此 上 下 文中 的 “镜像 ” 指 为 了 运行 容器 在 Linux 内 核 上 运行 
一 组 进程 所 需 指 令 的 总 和 。 镜像 包括 运行 Linux 发 行 版 所 需 的 一 切 资源 。 例 如 ， 如 果 宿 
主机 的 操作 系统 不 是 Ubuntu 发 行 版 ， 仍 可 在 Docker 容 器 中 运行 某 个 Ubuntu 版 本 。 


尽管 在 Windows 上 使 用 Docker 是 可 能 的 ， 但 Flask 微服 务 始终 应 该 部 署 在 
Linux 或 基于 BSD 的 系统 上 一 一 本 章 剩余 部 分 都 基于 如 下 假设 : 所 有 一 切 都 
安装 在 诸如 Debian 的 Linux 发 行 版 上 。 
如 果 已 在 第 6 章 中 安装 Docker 并 配置 了 Graylog 实例 ， 那 么 可 直接 阅读 下 一 节 
“Docker 简介 ”。 
如 果 尚 未 安装 Docker， 可 访问 https:/Avww.docker.com/get-docker 中 的 Get Docker 
部 分 。 社 区 版 Docker 对 于 构建 、 运 行 和 安装 容器 来 说 已 经 够 用 了 。 在 Linux 上 安装 
Docker 是 傻瓜 式 的 一 一 有 可 能 在 Linux 发 行 版 上 找到 Docker 的 软件 包 。 
对 于 macOS 来 说 ，Docker 使 用 虚拟 机 来 运行 Linux 内 核 。 最 新 版 本 基于 HyperKit 
(https://github.com/moby/hyperkit) 并 利用 bhyve( 一 个 BSD Hypervisor)。 通 过 虚拟 机 来 运 
行 Docker 会 增加 一 些 开 销 , 但 它 的 量 级 轻 ， 能 运行 在 现代 硬件 上 。 在 主流 操作 系统 上 ， 
Hypervisor 正 变 得 常见 。 
在 Windows 上 ，Docker 使 用 Windows 内 置 的 Hyper-V 技术 (可 能 需要 启动 它 ， 才 
可 使 用 )。 通 常 可 在 命令 行 中 使 用 DSIM 调用 来 启动 ， 如 下 : 


$ DISM /Online/Enable-Feature/Al1/FeatureName :Microsoft-Hyper-V 


如 果 安 装 成 功 ， 可 在 命令 行 中 运行 docker 命令 。 可 尝试 使 用 version 命令 来 验证 
是 否 安装 成 功 : 


$ docker version 


Client: 
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Version: 17:03.1-ce 


API version: 1.27 


Go version: gol.7.5 

Git commit: c6d412e 

Built: Tue Mar 28 00:40:02 2017 
OS/Arch: darwin/amd64 

Server: 

Version: 17.03.1-ce 


API version: 1.27 (minimum version 1.12) 
Go version: gol By 

Git commit: c6d412e 

Built: Fri Mar 24 00:00:50 2017 
OS/Arch: linux/amd64 

Experimental: true 


Docker 的 安装 由 Docker 服务 器 和 Docker 客户 端 组 成 。 前 者 是 守护 进程 执行 的 引 
擎 ， 后 者 是 命令 行程 序 (例如 Docker). 

服务 器 提供 HTTP API， 可 使 用 本 机 的 Unix 套 接 字 (通常 是 /var/run/docker.sock) 或 
使 用 网 络 来 访问 。 

换 句 话说 ，Docker 客户 端 能 与 运行 在 其 他 机 器 上 的 Docker 守护 进程 交互 。 


Docker 命令 行 工具 对 于 手动 管理 Docker 来 说 已 经 很 好 了 。 但 若 需要 编写 脚 
本 来 操作 Docker， 那 么 诸如 docker-py(https://github.com/docker/docker-py)44 
Python 库 允 许 使 用 Python 做 任何 事情 。 它 使 用 requests Xt Docker 守护 进 
程 执 行 HTTP 调用 。 


安装 Docker 后 ， 来 分 析 它 如 何 工作 。 


10.2 Docker 简介 


在 Docker 中 运行 容器 是 通过 执行 一 系列 命令 完成 的 , 这些 命 令 启动 一 组 进程 , 将 
容器 与 系统 其 余部 分 隔离 。 

可 使 用 Docker 来 运行 单一 进程 ， 但 在 实践 中 ， 我 们 要 通常 期 望 运行 完整 的 Linux 
发 行 版 。 但 不 必 担 心 ，Docker 已 经 提供 了 运行 完整 Linux 所 需 的 一 切 。 

目前 所 有 Linux 发 行 版 都 提供 基础 镜像 (base image), 使 用 基础 镜像 就 可 在 Docker 
中 运行 对 应 的 发 行 版 。 使 用 镜像 的 一 个 典型 方式 是 创建 一 个 Dockerfile( 见 文档 
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https://docs.docker.com/engine/reference/builder/)。 在 这 个 文件 中 ， 首 先 指 向 期 望 使 用 的 
基础 镜像 ， 然 后 添加 创建 容器 所 需 的 其 他 命令 。 
下 面 是 Dockerfile 的 一 个 简单 示例 : 


FROM ubuntu 
RUN apt-get update && apt-get install -y python 
CMD ["bash"] 


Dockerfile 是 一 个 包含 一 系列 指令 的 文本 文件 。 每 一 行 以 大 写字 母 的 指令 开始 , 紧 
跟着 它 的 参数 。 

上 例 包 括 三 条 指令 : 

e FROM: 指向 要 使 用 的 基础 镜像 。 

e RUN: 在 基础 镜像 安装 完毕 后 ， 在 容器 中 运行 命令 。 

e CMD: 当 Docker 执行 容器 时 运行 的 命令 。 

在 Dockerfile 文件 所 在 的 目录 中 使 用 Docker 的 build 和 run 命令 ， 就 能 创建 并 运 
行 镜像 。 注 意 末尾 的 点 号 ()。 


$ docker build -t runnerly/python . 
Sending build context to Docker daemon 6.656 kB 
Step 1/3 : FROM ubuntu 
---> O0ef2e08ed3fa 
Step 2/3 : RUN apt-get update && apt-get install -y python 
---> Using cache 
---> 48a5a722c81c 
Step 3/3 : CMD bash 
---> Using cache 
---> 78e9a6£d9295 
Successfully built 78e9a6£d9295 
$ docker run -it --rm runnerly/python 
root@ebdbb644edb1:/# python 
Python 2.7.12 (default, Nov 19 2016, 06:48:10) 
[Gcc 5.4.0 20160609] on linux2 


Type "help", "copyright", "credits" or "license" for more information. 


>>> 
ome ae 选项 给 镜像 添加 一 个 标签 。 上 面 的 例子 中 ， 镜 像 被 打上 
runnerly/python 标签 。 将 项 目 或 组 织 名 作为 前 绥 是 标签 的 一 个 惯例 ， 这 样 做 便于 给 镜 


像 分 组 ， 并 将 它 bree 
Docker 创建 镜像 时 也 创建 一 个 缓存 ， 包 含 Dockerfile 中 的 每 条 指令 。 在 不 修改 
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Dockerfile 的 前 提 下 ， 如 果 再 次 运行 build 命令 ， 就 能 快速 构建 镜像 。 交 换 或 修改 指 
令 会 导致 从 第 一 个 改动 处 开始 重建 镜像 。 出 于 这 个 原因 ， 编 写 Dockerfile 的 一 个 策略 

对 命令 进行 排序 ， 将 最 稳定 的 命令 (几乎 不 会 修改 的 那些 ) 放 在 最 前 面 。 

Docker 的 一 个 重大 特性 是 提供 与 其 他 开发 者 一 起 共享 、 发 布 和 重用 镜像 的 能 
Docker Hub(https://hub.docker.com)Z F Docker 镜像 ， 就 如 PyPI 之 于 Python 软件 包 。 

在 上 例 中 ，Docker 从 Docker Hub 中 拉 取 基础 镜像 ubuntu。Docker Hub 中 有 许多 
预先 存在 的 镜像 供 你 使 用 。 

例如 ， 若 想 启动 一 个 针对 Python 调整 的 Linux 发 行 版 ， 可 到 官方 Docker Hub 的 
Python 主页 挑选 ( 见 https://hub.docker.com /_/python/). 

形 如 python:version 的 镜像 基于 Debian, 对 于 任何 Python JHA, 都 是 不 错 的 起 点 。 

基于 Alpine Linux( 参 见 He Pan panic icone pee rg Python 镜像 也 
非常 流行 ， 是 运行 Python 的 最 小 镜像 。 它 们 比 其 他 镜像 小 十 倍 以 上 ， 这 意味 着 对 于 想 
在 Docker 中 运行 项 目的 人 而 言 ， 可 快速 地 下 载 和 准备 镜像 。 

为 在 Alpine 中 运行 Python 3.6， 可 创建 如 下 Dockerfile 文件 : 


FROM python:3.6-alpine 
CMD ["python3.6"] 


构建 并 运行 这 个 Dockerfile 后 ,会 启动 Python 3.6 的 交互 式 shell( 需 要 添加 -it 参数 )。 
如 果 Python 应 用 不 依赖 系统 级 别 的 依赖 项 ， 也 不 需要 执行 编译 任务 ， 那 么 Alpine 系 
列 的 镜像 就 很 好 用 。Alpine 有 一 组 包含 编译 工具 的 特殊 镜像 ， 但 有 时 这 些 工具 与 一 些 
项 目 不 兼 容 。 

对 于 基于 Flask 的 微服 务 应 用 来 说 ， 基 于 Debian 的 镜像 或 许 是 简单 的 选择 。 这 是 
因为 它 包 含 标准 编译 环境 ， 且 比较 稳定 。 此 外 ， 一 旦 下 载 基础 镜像 ， 它 就 会 被 缓存 和 
复 用 ， 因 此 不 要 再 次 下 载 所 有 东西 。 


由 于 任何 人 都 可 向 Docker Hub 上 传 镜像 ， 所 以 要 注意 ， 务 必 使 用 可 信 的 人 


和 组 织 的 镜像 。 使 用 镜像 时 ， 除 了 有 运行 恶意 代码 的 风险 外 ， 另 一 个 问题 是 
Linux 镜像 可 能 没有 打上 最 新 安全 补丁 。 


10.3 在 Docker 中 运行 Flask 


为 在 Docker 中 运行 Flask， 可 使 用 基础 Python 镜像 。 
接 下 来 ， 可 通过 PIP 来 安装 应 用 及 其 依赖 项 。 而 PIP 已 安装 在 Python 镜像 中 。 
假定 项 目 使 用 requirements.txt 文件 来 定义 依赖 项 , 并 使 用 setup.py 文件 安装 项 目 ， 
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jip erial 命令 给 项 目 创建 镜像 。 
命令 递归 地 将 一 个 目录 结构 拷贝 至 Docker 镜像 


中 nae ener 


FROM python:3.6 

COPY . /app 

RUN pip install -r /app/requirements. txt 
RUN pip install /app/ 

EXPOSE 5000 


CMD runnerly-tokendealer 


这 里 的 标签 3.6 SM Docker Hub 获取 最 新 Python 3.6 镜像 。 

COPY 命令 自动 在 容器 的 根 目 录 创 建 app 目录 ， 并 将 当前 目录 () 中 的 所 有 内 容 复 
制 到 其 中 。COPY 命令 的 一 个 重要 细节 是 ， 对 当前 目录 () 的 任何 修改 都 会 让 Docker 
的 缓存 失效 ， 导 致 下 一 次 构建 时 从 这 一 步 开始 。 

要 调整 这 个 机 制 , 可 创建 .dockerignore 文件 , 列 出 那些 需要 让 Docker 忽略 的 目录 
或 文件 。 

下 面 构建 这 个 Dockerfile: 


= 


$ docker build -t runnerly/tokendealer . 
Sending build context to Docker daemon 148.5 MB 
Step 1/6 : FROM python:3.6 
---> 21289e3715bd 
Step 2/6 : COPY . /app 
---> Olcebcda7dic 
Removing intermediate container 36f£0d93f£5d78 
Step 3/6 : RUN pip install -r /app/requirements.txt 
---> Running in 90200690f834 
Collecting pyjwt (from -r /app/requirements.txt (line 1)) 
[...] 
Successfully built d2444a66978d 


PIP 安装 依赖 项 后 , 它 又 指向 /app/ 目 录 并 再 次 运行 来 安装 项 目 。 当 pip 命令 指向 一 
个 目录 时 ， 它 会 查找 并 运行 setup.py。 

在 TokenDealer 项 目 中 ， 当 安装 应 用 时 ， 会 同时 在 系统 中 添加 runnerly-tokendealer 
脚本 。 此 处 未 使 用 virtualenv， 这 是 因为 容器 已 提供 隔离 环境 ， 所 以 使 用 virtualenv 显 
得 多 余 。 所 以 ， 将 runnerly-tokendealer 脚本 与 Python 可 执行 文件 安装 在 一 起 ， 就 可 在 
命令 行 中 直接 使 用 它们 。 


222 


第 10 章 容器 化 服务 


这 就 是 此 处 CMD 指令 直接 指向 runnerly-tokendealer( 即 执行 容器 


的 原因 。 


入 的 请 求 。 


最 后 , EXPOSE 指令 让 容器 在 TCP 的 5000 端口 


注意 ， 公 开端 口 后 ， 


主机 。 


时 运行 的 命令 ) 


( 即 Flask 应 用 监听 的 端口 ) 监 听 传 


还 需要 在 运行 时 将 其 映射 到 本 地 端口 ， 才 能 将 其 桥接 到 宿 


可 通过 -p 选项 来 设置 桥接 的 端口 。 下 例 中 ， 容 器 将 5000 端口 桥接 到 宿主 机 本 地 


的 5555 端口 。 


$ docker run -p 5555:5000 -t runnerly/tokendealer 


为 构建 一 个 包含 完 


运行 Web 服务 器 。 


下 一 节 分 析 该 怎么 做 。 


整 功能 的 镜像 ， 需 要 完成 的 最 后 一 件 事 是 在 启动 Flask 应 用 前 


10.4 ”完整 的 栈 一 一 OpenResty、Circus 和 Flask 


当 使 用 Docker 镜像 发 布 微服 务 时 ， 有 两 种 策略 来 包含 一 个 Web 服务 器 。 


第 一 种 策略 是 不 使 月 
容器 中 运行 Web 服务 器 (如 OpenResty), 


H Web 服务 器 ， p SF Flask 应 用 。 然 后 在 独立 的 Docker 
请 求 代理 到 Flask 容器 中 。 


然而 ,如 果 使 用 nginx ee 7 ncn 于 lua 的 应 用 防火 墙 )， 
那么 最 好 在 同一 容器 中 包含 所 有 内 容 和 一 个 专 有 的 进程 管理 


在 图 10-1 中 ，Docker 容器 实现 了 第 二 种 策略 ， 守 


sem Web 服务 器 和 Flask 


服务 ， 并 使 用 Circus 来 启动 和 监视 一 个 nginx 进程 和 若干 个 Flask 进程 : 


a ai; 


tcp 8080 
Flask lj 


tcp 5000 


NGINX 


图 10-1 Docker 容器 实现 了 第 二 种 策略 
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本 节 通 过 以 下 步 又 来 完成 这 个 容器 : 

(1) 下 载 、 编 译 和 安装 OpenResty; 

(2) 添加 一 个 nginx 配置 文件 ; 

(3) 下 载 、 安 装 Circus 与 Chaussette; 

(4) 添加 Circus 配置 文件 来 运行 nginx 和 Flask 应 用 。 


10.4.1 OpenResty 
基础 Python 镜像 可 使 用 Debian 的 apt 软件 包 管 理 器 ， 但 稳定 版 的 Debian 仓库 
不 包含 OpenResty( 一 个 包含 lua 和 其 他 扩展 的 nginx 发 行 版 )。 不 过 ， 编 译 OpenResty 
在 Dockerfile 中 ， 首 先 确保 Debian 环境 包含 编译 OpenResty 需要 的 所 有 软件 包 。 
以 下 指令 先 更 新 软件 包 列表 ， 然 后 安装 所 需 的 一 切 : 


RUN apt-get -y update && \ 
apt-get -y install libreadline-dev libncurses5-dev && \ 
apt-get -y install libpcre3-dev libssl-dev perl make 


注意 以 上 代码 将 3 条 命令 合并 到 一 个 RUN 指令 来 减少 Dockerfile 中 的 指令 数量 。 
这 样 能 减少 最 终 镜像 的 大 小 。 

下 一 步 下 载 OpenResty 的 源码 并 编译 。Python 基础 镜像 已 包含 cURL， 结 合 tar 
模块 ， 可 使 用 管道 从 URL 解压 OpenResty 的 压缩 包 : 

以 下 的 configure 和 make 命令 来 自 OpenResty 文档 ， 会 编译 和 安装 所 有 必需 项 : 


RUN curl -sSL https://openresty.org/download/openresty- 
1.11.2.. targa \ 
| tar -xz && \ 
cd openresty-1.11.2.3 && \ 
./configure -j2 && \ 
make -j2 && \ 
make install 


编译 完成 后 ， 会 将 OpenResty 安装 在 /usr/local/openresty 中 。 可 添加 一 个 ENV 48 
令 ， 让 容器 的 PATH 变量 包含 nginx 可 执行 文件 : 
ENV PATH "/usr/local/openresty/bin: /usr/local/openresty/nginx/ 


sbin :$PATH" 


使 用 OpenResty 前 的 最 后 一 件 事 是 包含 一 个 nginx 配置 文件 ， 并 用 它 来 启动 Web 
服务 器 。 
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在 下 面 这 个 简短 示例 中 ,nginx 将 发 送 给 8080 端口 的 所 有 请 求 代 理 到 5000 端口 (如 
图 10-1 所 示 ): 


worker processes 4; 
error_log /logs/nginx-error.1log; 


daemon off; 


events { 
worker_connections 1024; 


} 


http { 
server { 


listen 8080; 


location / { 
proxy_pass http://localhost:5000; 
proxy set_header Host $host; 
proxy_set_header X-Real-IP $remote_addr; 


} 


注意 error_log 路 径 使 用 /logs/ 目 录 。 这 是 日 志 在 容器 中 的 根 目录 。 


RUN mkdir /logs 
VOLUME /logs 


这 样 就 能 将 /logs 目录 挂 载 到 宿主 机 的 本 地 目录 上 。 在 运行 时 ， 如 果 容器 被 强制 关 
闭 ， 日 志文 件 依然 存在 。 


@ 应 该 永远 将 Docker 的 文件 系统 视 为 易 失 性 卷 ， 它 可 能 在 任何 时 候 丢失 。 
如 果 容 器 中 的 进程 生成 任何 有 用 的 东西 ， 应 该 将 结果 数据 复制 到 作为 卷 而 挂 
载 到 容器 之 外 的 目录 中 。 


这 是 一 个 完整 的 nginx 配置 文件 ， 可 通过 nginx 的 -c 选项 直接 使 用 : 


$ nginx -c nginx.conf 


nginx 运行 后 ， 会 假设 Circus 在 5000 端口 监听 传 入 的 TCP 连接 ， 并 且 nginx 自身 
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监听 8080 端口 。 
现在 配置 Circus， 将 其 绑 定 到 一 个 套 接 字 上 ， 并 衍生 出 若干 Flask 进程 。 


10.4.2 Circus 


如 果 复 用 第 9 章 的 Circus 和 Chaussette ALE, Circus 就 能 在 5000 端口 绑 定 一 个 套 
BES, 衍生 出 若干 个 Flask 进程 ， 然 后 在 这 个 套 接 字 上 接收 连接 。Circus 还 能 监听 在 容 
器 中 运行 的 单个 nginx 进程 。 

为 在 容器 中 将 Circus 作为 进程 管理 器 来 使 有 用， 首先 安装 Circus 和 Chaussette, 
如 下 : 


RUN pip install circus chaussette 


下 面 的 Cireus 配置 与 上 一 章 中 的 配置 类 似 (除了 针对 nginx 的 额外 部 分 ): 


[watcher:web] 

cmd = runnerly-tokendealer --fd $(circus.sockets.web) 
use_sockets = True 

numprocesses = 5 

copy_env = True 


[socket : web] 
host = 0.0.0.0 
port = 5000 


[watcher :nginx]cmd = nginx -c /app/nginx.confnumprocesses = lcopy_ env 
=True 


这 里 使 用 copy_env 标识 ， 于 是 Circus 以 及 衍生 的 进程 都 能 访问 容器 的 环境 变量 。 
由 于 Dockerfile 文件 设置 了 PATH 变量 ,因此 设置 copy_env 后 ， 配 置 文件 可 直接 调用 
nginx 命令 ， 而 不 需要 指定 路 径 。 
创建 这 个 INI 文件 后 ， 就 能 使 用 circusd 命令 来 加 载 它 。 
综合 上 述 所 有 修改 ， 最 终 Dockerfile 文件 如 下 所 示 : 


FROM Python:3.6 


# OpenResty installation 

RUN apt-get -y update && \ 
apt-get -y install libreadline-dev libncurses5-dev && \ 
apt-get -y install libpcre3-dev libssl-dev perl make 


#108 


RUN curl -sSL https://openresty.org/download/openresty- 
LN 
| tar -xz && \ 
cd openresty-1.11.2.3 && \ 
./configure -j2 && \ 
make -j2 && \ 
make install 


容器 化 服务 


ENV PATH "/usr/local/openresty/bin: /usr/local/openresty/nginx/ 


sbin:SPATH" 


# config files 

COPY docker/circus.ini /app/circus.ini 
COPY docker/nginx.conf /app/nginx.conf 
COPY docker/settings.ini /app/settings.ini 
COPY docker/pubkey.pem /app/pubkey.pem 
COPY docker/privkey.pem /app/privkey.pem 


# copying the whole app directory 
COPY . /app 


# pip installs 

RUN pip install circus chaussette 

RUN pip install -r /app/requirements. txt 
RUN pip install /app/ 


# logs directory 
RUN mkdir /logs 


VOLUME /logs 


# exposing Nginx's socket 
EXPOSE 8080 


# command that runs when the container is executed 


CMD circusd /app/circus.ini 


Li 44 Dockerfile 示例 将 SSH 密 钥 找 贝 到 容器 中 以 直接 使 用 ， 但 这 只 是 简化 


示例 。 在 真实 项 目 中 ， 应 该 将 容器 外 部 的 密 钥 挂 载 到 容器 中 。 


227 


228 


Python 微服 务 开发 


假定 Dockerfile 文件 位 于 微服 务 项 目 /docker 子 目录 中 ， 可 使 用 以 下 命令 来 构建 和 
运行 : 
$ docker build -t runnerly/tokendealer -f docker/Dockerfile . 


$ docker run --rm --v /tmp/logs:/logs -p 8080:8080 --name tokendealer -it 


runnerly/tokendealer 


在 上 例 中 ， 将 /logs 挂 载 到 本 地 /tmp/logs 目录 中 ， 于 是 日 志 就 会 被 写 入 其 中 。 

Docker 命令 的 -i 选项 能 确保 在 使 用 Ctrl+C 停止 容器 时 ,将 终止 信号 转发 给 Circus 
以 便 它 正确 关闭 一 切 。 在 终端 运行 Docker 容器 时 ， 这 个 选项 很 有 用 。 如 果 不 使 用 -i， 
那么 用 CtrltC 强行 关闭 容器 时 ，Docker 容器 还 在 运行 ， 然 后 需要 使 用 docker 终止 命 


令 来 手动 终止 它 。 
--rm 选项 会 在 容器 停止 时 将 其 删除 ，--name 选项 给 Docker 容器 指定 Docker 环境 
的 唯一 名 称 。 


这 个 Dockerfile 示例 还 有 很 多 地 方 可 调整 。 例 如 ， 如 果 想 从 容器 外 部 与 Circus 交 
互 ， 可 将 用 于 控制 Circus 守护 进程 的 Circus UI( 包 括 Web 和 命令 行 ) 所 使 用 的 套 接 字 
开 


> 四 


还 可 公开 其 他 一 些 运行 选项 (例如 需要 启动 的 Flask 进程 数量 )， 可 在 运行 时 通过 
Docker 的 -e 选项 将 对 应 的 环境 变量 传 入 。 


可 运行 的 完整 Dockerfile 文 件 见 https://github.com/Runnerly/tokendealer/tree/ 


master/docker. 


下 一 节 将 介绍 容器 之 间 如 何 交 互 。 


10.5 ”基于 Docker 的 部 署 


在 容器 运行 微服 务 后 ， 就 需要 让 它们 之 间 交 互 。 由 于 我 们 将 容器 的 套 接 字 与 宿主 
机 上 的 本 地 套 接 字 做 了 桥接 ， 因 此 外 部 客户 端 能 非常 透明 地 使 用 容器 。 每 个 主机 可 有 
一 个 公开 的 DNS 或 了 瑟 ， 程 序 可 使 用 它 连接 到 不 同 服务 上 。 换 句 话 说， 只 要 主机 人 A 和 
主机 B 有 公开 的 地 址 ， 并 公开 了 与 容器 套 接 字 进行 桥接 的 本 地 套 接 字 ， 那 么 位 于 主机 
A 上 的 容器 中 的 服务 ， 就 能 与 主机 B 上 的 容器 中 的 服务 交互 。 

不 过 ， 当 两 个 容器 运行 在 同一 宿主 机 时 一 特别 地 ， 某 个 容器 不 需要 对 宿主 机 公 
开 时 一 一 使 用 公共 DNS 来 交互 并 非 最 佳 方式 。 例 如 ， 如 果 Docker 中 的 容器 仅 为 内 部 
所 需 (例如 缓存 服务 )， 那 么 应 该 将 其 限制 为 仅 能 从 localhost 访问 。 

为 方便 地 实现 这 个 场景 ，Docker 提 供 了 用 户 自 定义 网 络 功能 ， 以 便 允 许 创建 本 地 
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虚拟 网 络 , 将 容器 添加 到 网 络 。 如 果 使 用 --name 选 项 运行 容器 , 那么 Docker 会 扮演 DNS 
解析 器 角色 ， 使 用 容器 名 就 可 在 网 络 中 访问 它们 。 
下 面 使 用 network 命令 来 创建 一 个 名 为 runnerly 的 网 络 : 


$ docker network create -driver=bridge runnerly 
4a08e29d305b17f875a7d98053b77ea95503f620df580df03d83c6cd1011fb67 


网 络 创建 后 , 可 使 用 --net 选项 在 这 个 网 络 中 运行 容器 。 下 面 使 用 tokendealer 作为 
名 称 来 运行 容器 : 


$ docker run --rm --net=runnerly --name=tokendealer -v /tmp/logs:/logs -p 
5555:8080 -it runnerly/tokendealer 

2017-05-18 19:42:46 circus[5] [INFO] Starting master on pid 5 
2017-05-18 19:42:46 circus[5] [INFO] sockets started 

2017-05-18 19:42:46 circus[5] [INFO] Arbiter now waiting for commands 
2017-05-18 19:42:46 circus[5] [INFO] nginx started 

2017-05-18 19:42:46 circus[5] [INFO] web started 


如 果 在 同一 网 络 中 ， 用 同样 的 镜像 和 不 同名 称 来 运行 第 二 个 容器 ， 那 么 可 在 这 个 
容器 中 使 用 容器 名 tokendealer 直接 连接 第 一 个 容器 。 


$ docker run --rm --net=runnerly --name=tokendealer2 -v /tmp/logs:/logs -p 
8082:8080 -it runnerly/tokendealer ping tokendealer 

PING tokendealer (172.20.0.2): 56 data bytes 

64 bytes from 172.20.0.2: icmp_seq=0 ttl=64 time=0.474 ms 

64 bytes from 172.20.0.2: icmp_seq=1 ttl=64 time=0.177 ms 

64 bytes from 172.20.0.2: icmp_seq=2 ttl=64 time=0.218 ms 

“ec 


在 部 署 时 ,为 微服 务 指定 专 有 Docker 网 络 是 一 个 好 做 法 一 就 算 只 有 一 个 容器 在 
运行 也 同样 如 此 。 你 可 随时 在 同一 网 络 中 添加 新 容器 ， 或 从 shell 调整 网 络 权限 。 


0H Docker 还 有 其 他 网 络 策略 ， 见 https://docs.docker.com/engine/userguide/ 
networking/. 


当 部 署 多 个 容器 才能 运行 一 个 微服 务 时 ， 需 要 确保 所 有 容器 在 启动 时 都 被 正确 
配置 。 

为 简化 配置 ，Docker 有 一 个 称 为 Docker Compose 的 高 级 工具 ， 将 在 下 一 节 中 
介绍 。 
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10.5.1 Docker Compose 


在 同一 主机 上 运行 多 个 容器 时 ， 为 添加 容器 名 称 和 网 络 以 及 绑 定 套 接 字 ， 可 能 需 
要 执行 很 长 的 命令 。 

通过 在 单个 配置 文件 中 定义 多 个 容器 的 配置 ，Docker Compose(https://docs. 
docker.com/compose/) 定 义 简化 了 上 述 运 行 多 个 容器 的 工作 。 

在 macOS 和 Windows 上 安装 Docker 时 , 已 经 预先 安装 了 这 个 实用 程序 .对 Linux 
发 行 版 来 说 ， 需 要 获取 脚本 并 将 其 添加 到 系统 中 。 它 是 单个 脚本 文件 ， 可 通过 PIP 来 
下 载 和 安装 (参见 https://docs.docker.com/compose/install/)。 

将 这 个 脚本 安装 到 系统 后 , 需要 创建 一 个 名 为 docker-compose.yml 的 YAML 格式 
的 文件 ， 然 后 在 其 中 的 services 罗列 出 所 有 Docker 容器 。 


Ci) Compose 配置 文件 有 很 多 选项 ， 允 许 定义 包含 多 个 容器 的 部 署 的 方方面面 。 
它 取代 通常 置 于 Makefile 用 来 设置 和 运行 容器 的 所 有 命令 。 这 个 URL 列 出 
所 有 选项 : https://docs.docker.com/compose/compose-file/. 


下 例 中 ， 这 个 文件 位 于 Runnerly 的 某 个 微服 务 中 ， 它 定义 了 两 个 服务 : 其 中 
microservice 会 读 取 本 地 Dockerfile， 另 一 个 redis 使 用 来 自 Docker Hub 的 Redis 镜像 : 


version: '2' 
networks: 
runnerly: 
services: 
microservice: 
networks: 
- runnerly 
build: 
context: . 
dockerfile: docker/Dockerfile 
ports: 
- "8080:8080" 
volumes: 
- /tmp/logs:/logs 
redis: 
image: "redis:alpine" 
networks: - 


- runnerly 


Compose 文件 还 在 networks 部 分 创建 网 络 ,因此 在 部 署 容器 前 不 必 手 动 创建 网 络 。 
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可 使 用 up 命令 来 构建 和 运行 这 两 个 容器 : 


$ docker-compose up 

Starting tokendealer_microservice_1 

Starting tokendealer_redis 1 

Attaching to tokendealer_microservice_1, tokendealer_redis 1 


[...] 


redis 1 | 1:M 19 May 20:04:07.842 * DB loaded from disk: 0.000 
seconds 
redis 1 | 1:M 19 May 20:04:07.842 * The server is now ready to 


accept connections on port 6379 

microservice_1 | 2017-05-19 20:04:08 circus[5] [INFO] Starting master on 
pid 5 

microservice_1 | 2017-05-19 20:04:08 circus[5] [INFO] sockets started 
microservice_1 | 2017-05-19 20:04:08 circus[5] [INFO] Arbiter now waiting 
for commands 

microservice 1 | 2017-05-19 20:04:08 circus[5] [INFO] nginx started 
microservice_1 | 2017-05-19 20:04:08 circus[5] [INFO] web started 


首次 执行 上 述 命令 时 会 创建 microservice 镜像 。 
当 你 希望 为 微服 务 提供 一 个 完整 工作 栈 时 ， 使 用 Docker Compose 是 非常 适合 的 ， 


它 包 含 运行 微服 务 的 所 有 软件 。 


例如 ， 要 使 用 Postgres 数据 库 ， 可 通过 Postgres 镜像 https:/hub.dockercomy/ / 


postgres/)， 在 Docker Compose 文件 中 将 其 链接 到 服务 。 


为 演示 软件 或 开发 目的 ， 最 好 容器 化 一 切 一 一 甚至 包括 数据 库 。 然 而 ， 如 前 所 述 ， 


应 该 将 Docker 容器 当 作 易 失 性 文件 系统 。 如 果 在 容器 中 运行 数据 库 ， 则 要 确保 写 入 数 
据 的 目录 被 挂 载 到 宿主 机 的 文件 系统 上 。 


= 


器 ， 


然而 ， 大 多 数 情况 下 ， 在 生产 环境 下 ， 数 据 库 服务 通常 位 于 专 有 服务 器 上 。 因 此 


上 容器 来 运行 数据 库 没 有 多 大 意义 ， 反 而 增加 了 一 些 开 销 和 风险 。 


到 目前 为 止 , 本 章 介绍 如 何在 Docker 中 运行 应 用 , 如 何在 每 个 主机 上 部 署 多 个 容 
以 及 如 何 让 它们 交互 。 

当 部 署 需要 扩展 的 微服 务 时 ， 通 常 要 运行 同一 服务 的 多 个 实例 以 便 支 撑 负 载 。 
第 11 章 讨 论 并 行 地 运行 同一 容器 的 多 个 示例 的 多 种 选择 。 


10.5.2 ”集群 和 初始 化 简介 


可 通过 运行 分 布 在 一 个 或 多 个 主机 上 的 多 个 容器 来 大 规模 部 署 微服 务 。 
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创建 Docker 镜像 后 ， 每 个 运行 Docker 守护 进程 的 主机 都 可 在 物理 资源 受 限 的 条 
件 下 运行 任意 数量 的 容器 。 当 然 ， 如 果 在 同一 主机 上 运行 同一 容器 的 多 个 实例 ， 那 么 
需要 给 每 个 实例 使 用 不 同 的 名 称 和 套 接 字 端口 ， 以 便 区 分 它们 。 

运行 同一 镜像 的 一 组 容器 被 称 为 集群 ， 已 有 一 些 用 来 管理 集群 的 工具 。 

Docker 有 一 个 内 置 的 集群 特性 称 为 swarm 模 式 (https://docs.docker.com/engine/swarm/)。 
这 个 模式 有 一 组 令 人 印象 深刻 的 特性 ， 人 允许 使 用 实用 程序 来 管理 所 有 集群 。 

部 署 集群 后 ， 需 要 搭建 一 个 负载 均衡 器 以 使 集群 中 的 所 有 实例 分 担负 载 。 例 如 ， 
nginx 或 HAProxy 都 可 作为 负载 均衡 器 ， 作 为 入 口 ， 将 传 入 的 请 求 分 发 到 集群 中 。 

当 Docker 本 身 试图 提供 工具 来 处 理 容器 的 集群 时 , 管理 集群 就 显得 很 复杂 。 如 果 
做 法 得 当 ， 就 需要 在 宿主 机 之 间 共 享 一 些 配置 ， 并 确保 启动 和 关闭 容器 是 局 部 自动 化 
的 。 例 如 ， 还 需要 “服务 发 现 ”特性 来 保证 负载 衡器 能 监测 到 容器 的 添加 和 移 除 。 

诸如 Consul(https:/Avww.consul.io/)=% Etcd(https://coreos.com/etcd/) 的 工具 可 用 来 发 
现 服务 和 共享 配置 ， 将 Docker 配置 为 swarm 模式 就 可 与 这 些 工 具 交 互 。 

设置 集群 的 另 一 个 方面 是 初始 化 (Provision)。 术 语 “ 初 始 化 ” 指 在 给 定 所 部 署 软件 
栈 的 描述 后 (这 种 描述 是 某 种 声明 形式 )， 创 建新 主机 和 集群 的 过 程 。 

例如 ， 一 个 简单 的 初始 化 工具 可 以 是 遵循 以 下 步 又 的 自 定义 Python 脚本 : 

(1) 通过 若干 Docker Compose 文件 ， 读 取 描 述 了 所 需 实例 的 配置 文件 。 

(2) 在 云 厂商 上 启动 若干 个 虚拟 机 。 

(3) 等 待 所 有 虚拟 机 启动 并 运行 。 

(4) 确保 在 虚拟 机 中 运行 服务 所 需 的 一 切 都 设置 完毕 。 

(5) 在 每 个 虚拟 机 上 与 Docker 守护 进程 交互 ， 并 启动 若干 个 容器 。 

(6) 连接 任何 需要 连接 (ping) 的 服务 ， 确 保 新 实例 相互 连通 。 

一 旦 能 自动 部 署 容器 ， 如 果 一 些 虚拟 机 崩 尝 了 ， 就 可 用 自动 化 工具 来 分 离 它们 。 

不 过 ， 在 Python 脚本 中 完成 上 述 所 有 工作 有 其 局 限 性 ， 但 一 些 专用 工具 ， 如 
Ansible(https://www.ansible.com/) 或 Salt(https://docs.saltstack.com), 提供 对 DevOps 友好 
的 环境 ， 可 用 来 部 署 和 管理 宿主 机 。 

Kubernetes(https://kubernetes.io/) 是 另 一 个 工具 ， 可 用 来 在 主机 上 部 署 集 群 。 与 
Ansible 或 Salt 不 同 ，Kubernetes 擅长 部 署 容器 ， 并 尝试 提供 一 个 能 处 处 运行 的 通 
方案 。 

例如 ，Kubemetes 可 通过 主流 云 厂商 的 API 与 它们 交互 ， 这 意味 着 一 旦 定义 了 
用 的 部 署 方式 ， 就 可 将 其 部 署 在 AWS. Digital Ocean, OpenStack 等 云 厂商 上 。 然 而 ， 
这 引出 一 个 问题 一 -这 是 否 对 项 目 有 用 ? 

通常 ， 如 果 已 为 应 用 选择 云 厂 商 ， 但 出 于 某 些 原 因 决 定 迁 移 到 另 一 云 厂商 上 ， 那 
么 这 种 情况 很 少 像 搭建 一 套 新 软件 栈 那么 简单 。 有 许多 微妙 细节 让 转换 变 得 更 复杂 ， 
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而 且 部 署 方 式 几乎 各 不 相同 。 例 如 ， 一 些 云 厂 商 提供 数据 存储 方案 ， 比 自行 搭建 
PostgreSQL 或 MySQL 更 便宜 ， 而 另 一 些 云 厂商 的 缓存 服务 比 自行 搭建 Redis 实例 更 
昂贵 。 

一 些 团队 跨 多 个 云 厂商 来 部 署 服务 ， 但 通常 来 说 ， 他 们 不 会 将 同样 的 微服 务 部 署 
到 多 个 提供 商 上 。 因 为 这 样 会 让 集群 管理 变 得 过 于 复杂 。 

此 外 ， 每 个 主流 的 云 厂 商都 提供 一 系列 完整 的 内 置 工具 来 管理 托管 的 应 用 ， 包 括 
负载 均衡 、 可 发 现 性 和 自动 扩展 。 通 常 这 些 工具 是 部 署 微 服务 集群 的 最 简单 选项 。 

第 11 章 将 介绍 如 何 使 用 AWS 来 部 署 应 用 。 

总 之 , 部 署 微服 务 的 工具 依赖 于 部 署 位 置 。 如 果 自 行 管理 服务 器 , 那么 Kubernetes 
可 作为 一 个 优秀 方案 来 自动 执行 很 多 步骤 , 它 可 直接 安装 在 Linux 发 行 版 (例如 Ubuntu) 
上 。 这 个 工具 可 基于 Docker 镜像 来 部 署 应 用 。 

如 果 选 择 了 托管 方案 ， 那 么 在 投资 工具 集 前 ， 第 一 步 要 看 一 下 云 厂商 已 经 提供 了 
哪些 工具 。 


10.6 ”本 章 小 结 


本 章 解 释 如 何 使 用 Docker 来 容器 化 微服 务 ， 以 及 如 何 基于 Docker 镜像 来 部 署 。 

Docker 虽然 还 是 年 轻 的 技术 ,但 对 于 生产 环境 已 足够 成 熟 。 一 定 要 记 住 最 重要 的 
事情 : 容器 化 应 用 可 能 在 任何 时 间 被 摧毁 , 此 时 任何 没有 挂 载 到 外 部 的 数据 都 会 丢失 。 

对 于 初始 化 并 在 集群 中 运行 服务 ， 现 在 还 没有 通用 方案 。 有 大 量 工具 可 供 使 用 ， 
可 将 它们 组 合成 一 个 好 方案 。 现 在 这 个 领域 中 有 很 多 创新 ， 最 佳 选择 取决 于 服务 部 署 
在 什么 地 方 ， 以 及 团队 如 何 工 作 。 

处 理 这 个 问题 的 最 佳 方式 是 循序 渐进 地 手动 部 署 ， 然 后 在 必要 时 自动 化 。 自 动 化 
是 好 的 ， 但 如 果 你 没有 完全 理解 正在 使 用 的 工具 集 ， 它 们 可 能 很 快 变 成 跆 梦 。 

这 种 情况 下 ， 云 厂商 为 让 其 服务 能 更 易于 使 用 和 有 吸引 力 ， 在 服务 中 内 置 了 部 署 
功能 。 其 中 ， 最 大 的 玩家 是 AWS(Amazon Web Services)。 第 11 章 将 演示 如 何在 AWS 
平台 上 部 署 微 服务 。 当 然 ， 本 书 的 目标 并 非 让 你 使 用 AWS 一 一 还 有 很 多 好 方案 一 一 不 
过 ， 可 让 你 感受 一 下 如 何在 托管 服务 上 部 署 服务 。 
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在 AWS 上 部 署 


除非 你 和 Google 或 Amazon 一 样 需要 运行 成 千 上 万 的 服务 器 , 否则 现在 用 数据 中 
心 管理 硬件 并 没有 太 多 好 处 。 

云 厂 商 提供 一 种 比 自行 部 署 和 维护 基础 设施 更 便宜 的 托管 方案 。Amazon Web 
Services(AWS) 和 其 他 海量 云 服务 能 让 你 用 Web 控制 台 管理 虚拟 机 ， 而 且 这 些 云 服务 


每 年 会 增 


加 很 多 新 功能 。 


例如 ，AWS 新 增 的 功能 之 一 是 Amazon Lambda。 当 你 的 部 署 环境 发 生 一 些 事情 


时 ，Lamb 


da 可 触发 一 个 Python 脚本 。 通 过 Lambda, 不 必 考 虑 设置 服务 器 和 配置 cron 


job( 定 时 任务 )， 也 不 必 考 虑 传递 消息 的 格式 。AWS 负责 在 VM 中 自动 执行 脚本 ,而 你 
只 需要 为 执行 时 间 买 单 即 可 。 


结合 


Docker 提供 的 内 容 , 这 种 功能 真正 改变 了 应 用 在 云 的 部 署 方式 ,并 提供 相当 


大 的 灵活 性 。 例 如 ， 为 应 对 一 个 随后 会 回落 的 活动 高 峰 ， 不 必 花 费 太 多 资金 来 搭建 支 
持 活 动 高 峰 的 服务 。 你 可 部 署 能 容纳 大 量 请 求 的 世界 级 基础 设施 , 而 且 大 多 数 情况 下 ， 


它 会 比 运行 自己 的 硬件 更 便宜 。 


see 


青 况 下， 使 用 自己 的 数据 中 心 可 能 更 省 钱 ， 但 增加 了 维护 负担 ， 而 且 让 它 做 


到 与 云 服 务 一 样 可 靠 也 是 一 个 挑战 。 


@ 虽然 在 媒体 报道 中 云 服 务 中 断 曾 成 为 热点 新 闻 , 但 Amazon X Google 的 中 断 
服务 极其 罕见 (一 年 中 最 多 发 生 几 小 时 )， 它 们 有 很 高 的 可 靠 性 。 如 EC2 服 务 
级 别 协议 (Service Level Agreemenb) 保 证 每 个 地 区 最 少 99.95% 的 正常 运行 时 

间 ， 和 否则 你 可 拿 回 部 分 退 款 。 实 际 上 ， 正 常 运行 时 间 通常 高 达 99.9999%6。 
可 用 在 线 工具 https://cloudharmony.com/status-1year-for-aws 来 追踪 云 厂 商 的 正 
常 运行 时 间 ; 不 过 , 由 于 一 些 潜在 的 运行 中 断 没有 统计 进来 , 结果 不 一 定 准确 。 


Python 微服 务 开发 


本 章 将 完成 以 下 两 件 事情 : 

o RA AWS 提供 的 一 些 功能 ; 

e 在 AWS 上 发 布 一 个 Flask MH. 

本 章 的 目标 不 是 发 布 整个 应 用 栈 ， 因 为 这 会 花费 很 长 时 间 ， 但 会 提供 总 览 信息 
来 帮助 你 了 解 在 AWS 上 如 何 部 署 微 服务 。 

下 面 开始 概述 AWS 的 功能 。 


11.1 AWS 总 览 


亚马逊 Web 服务 (Amazon Web Services， 即 AWS) 始 于 2006 年 ， 最 早 从 Amazon 
Elastic Compute Cloud(Amazon EC2) 开 始 ， 并 不 断 扩 展 。 现 在 ，AWS 已 经 有 了 无 数 服 
务 。 本 章 不 讨论 所 有 服务 , 只 关注 开始 部 署 微服 务 时 通常 使 用 的 服务 , 如 图 11-1 所 示 。 


“e t 路 由 


Route 53 


+ © * 
ug ELB AutoScaling 


SNS CloudFront EC2 e 


E E. 
s3 ESB RDS Elastic Cache Glacier 


存储 日 


图 11-1 通常 使 用 的 服务 


我 们 感 兴趣 的 AWS 服务 可 组 织 成 图 11-1 所 示 的 4 个 主要 服务 组 : 

e 路 由 : 用 来 把 请 求 重 定向 到 正确 位 置 的 服务 。 如 DNS 服务 、 负 载 均衡 服务 。 

o BUT: 用 来 执行 代码 的 服务 ， 如 EC2 ER Lambda. 

o 存储 : 用 来 存储 数据 卷 、 缓 存 、 常 规 数据 库 、 长 期 贮存 的 服务 或 CDN。 

。 消息 传递 : 用 来 发 送 通 知 、 邮 件 等 的 服务 。 

还 有 一 个 服务 组 未 在 图 中 显示 ， 该 服务 负责 与 初始 化 资源 和 部 署 有 关 的 一 切 。 
下 面具 体 介 绍 每 个 组 。 
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OH 如 果 想 阅读 Amazon 服务 的 官方 文档 ， 常 用 地 址 是 每 个 服务 的 根 页 面 : 


https://aws.amazon.com/<service name>. 


11.2 路 由: Route53、ELB 和 AutoScaling 


Route53(https://aws.amazon.com/route53/) 指 用 于 DNS 服务 器 的 TCP 端口 53, 这 是 
Amazon 的 DNS 服务 。 如 在 BIND(http://www.isc.org/downloads/bind/) 所 做 的 一 样 ， 可 
在 Route53 中 定义 DNS 条 目 ,通过 设置 这 个 服务 将 请 求 自动 路 由 到 特定 AWS 服务 上 ， 
这 些 服务 可 能 承载 应 用 或 文件 。 

DNS 是 部 署 的 关键 部 分 。 它 需要 高 度 可 用 ， 并 能 尽快 路 由 请 求 。 如 果 在 AWS 上 
部 署 服 务 ， 强 烈 推荐 使 用 Route53， 或 联系 出 售 域名 的 公司 的 DNS 提供 商 ， 最 好 不 要 
自行 处 理 DNS。 

Ronute53 可 与 ELB(Elastic Load Balancing， 弹 性 负载 均衡 https://aws.amazon.com/ 
elasticloadbalancing/) 密 切 协作 ，ELB 作为 一 个 负载 均衡 器 ， 可 用 来 将 传 入 的 请 求 分 发 
到 多 个 后 端 。 通常 ， 如 果 要 为 同一 微服 务 部 署 包含 多 个 VM 的 群集 ，ELB 可 用 于 分 配 
负载 。ELB 通过 健康 检查 来 监控 所 有 实例 ， 自 动 将 不 健康 的 节点 从 轮 询 中 移 除 。 

最 后 一 个 有 趣 的 路 由 服务 是 AutoScaling(https://aws.amazon.com/autoscaling/)。 该 服 
务 基于 某 些 事件 自动 添加 实例 。 例如， 如 果 一 个 节点 无 响应 或 衣 演 ，AutoScaling 会 接 
收 一 个 ELB Health Check 事件 。 然后 自动 终止 存在 问题 的 VM, 并 启动 一 个 新 的 VM。 

通过 这 三 个 服务 ， 可 为 微服 务 设置 强健 的 路 由 系统 。 下 一 节 将 分 析 哪 些 服务 可 用 
于 运行 实际 代码 。 


11.3 #47: EC2 和 Lambda 


AWS 的 核心 是 EC2Chttps:/aws.amazon.com/ec2/)， 可 用 它 创建 虚拟 机 。Amazon 使 
用 Xen hypervisor(https://www.xenproject.org/) 来 运行 虚拟 机 ， 使 用 AMI (Amazon 
Machine Images) 来 执行 安装 。 

AWS 有 一 个 庞大 的 AMI 列表 可 供 选 择 ; 你 也 可 调整 一 个 现 有 AMI 来 创建 自己 的 
AMI. AMI 和 Docker 镜像 和 用 法 类 似 。 一 旦 从 Amazon 控制 台 选择 AMI， 就 可 启动 
一 个 实例 。 启 动 后 ， 可 通过 SSH 进入 并 开始 工作 。 
任何 时 候 都 可 为 VM 创建 快照 并 创建 一 个 AMI 来 保存 实例 状态 。 这 个 功能 的 有 
用 之 处 在 于 ， 要 手动 设置 服务 器 ， 可 将 其 用 作 部 署 集群 的 基础 。 
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EC2 实例 包含 不 同系 列 (https://aws.amazon.com/ec2/instance-types/)。T2、M3 和 
M4 系列 可 用 于 通用 目的 。T 系列 使 用 突 增 技术 ， 当 工作 负载 达到 峰值 时 ， 会 增强 实 
例 的 基线 性 能 。 

C3 和 C4 系列 适用 于 CPU 密集 型 应 用 (最 多 可 支持 32 个 Xeon CPU), X1 和 R4 
系列 可 提供 大 量 内 存 (最 多 可 支持 1952GB)。 
当然 ， 更 多 内 存 和 CPU 意味 着 实例 更 昂贵 。 对 于 Python 微服 务 ， 假 设 没 有 在 应 
用 实例 上 承载 任何 数据 库 ， 那 么 PP.xxx 或 m3.xxx 是 很 好 的 选择 。 但 要 注意 避免 使 用 
t2.nano 和 也.micro， 它 们 可 用 来 运行 测试 ， 但 在 生产 环境 上 运行 任何 东西 都 会 受到 限 
制 。 你 需要 选择 的 服务 器 大 小 取决 于 操作 系统 和 应 用 占用 的 资源 。 
因为 使 用 Docker 镜像 来 部 署 微服 务 ， 所 以 不 需要 运行 一 个 花哨 的 Linux 发 行 包 。 
唯一 需要 关注 的 是 选择 一 个 能 运行 Docker 容器 的 AMI。 

在 AWS 中 ， 内 建 的 部 署 Docker 容器 方式 是 使 用 EC2 Container Service(ECS) 
(https://aws.amazon.com/ecs)。ECS 提供 的 功能 与 Kubernetes 相似 ， 可 很 好 地 集成 其 他 
AWS 服务 。ECS 使 用 自己 的 Linux AMI 来 运行 Docker 容器 , 但 你 也 可 配置 ECS 来 运 
行 其 他 AMI。 例 如 ，CoreOS(https://coreos.comy) 是 一 个 主要 用 来 运行 Docker 容器 的 
Linux 版 本 。 如 果 使 用 CoreOS， 就 不 会 被 锁定 在 AWS 中 。 

最 后 ，Lambda(https://aws.amazon.com/lambda/) 是 一 个 可 用 来 触发 Lambda 函数 的 
服务 。Lambda 函数 是 可 用 Nodejs、Java、C#、Python 2.7( 或 Python 3.6) 编 写 的 一 段 代 
码 ， 可 通过 部 署 包 (一 个 包含 脚本 和 所 有 依赖 项 的 ZIP 文件 ) 来 部 署 。 如 果 使 用 Python， 
ZIP 文件 通常 是 包含 运行 该 函数 所 有 依赖 项 的 virtualenv。 

Lambda 函数 可 替代 Celery 职 程 ， 因 为 可 通过 AWS 事件 异步 地 触发 它们 。 使 用 
Lambda 的 好 处 在 于 不 需要 部 署 一 个 7x24 小 时 运行 的 Celery 微服 务 (这 个 微服 务 会 不 
间断 地 从 队列 中 捡 起 消息 )。 基 于 消息 频率 ,使 用 Lambda 可 能 降低 成 本 。 但 重申 一 次 ， 
使 用 Lambda 意味 着 你 将 被 锁定 在 AWS 服务 中 。 

下 面 分 析 存 储 解决 方案 。 


11.4 存储: EBS, S3, RDS, ElasticCache 和 
CloudFront 


创建 EC2 实例 时 ， 它 会 与 一 个 或 多 个 EBS(Elastic Block Stores, https://aws. 
amazon.com/ebs/) 一 同 工 作 。EBS 是 一 个 复制 的 存储 卷 , EC2 实例 挂 载 后 将 其 用 作文 件 
系统 。 创 建 一 个 新 EC2 实例 时 ， 可 创建 一 个 新 的 EBS， 然 后 决定 在 SSD( 固 态 硬盘 ) 还 
是 HDD( 传 统 硬盘 ) 上 运行 它 ， 并 设置 它 的 初始 化 大 小 和 其 他 一 些 参 数 。 存 储 卷 的 费用 
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取决 于 你 的 选择 。 

S3(Simple Storage Service，https://aws.amazon.com/s3/) 是 一 个 存储 服务 ， 它 使 用 存 
储 桶 (buckeb 来 组 织 数据 。 简 单 来 说 ， 存 储 桶 是 用 来 组 织 数据 的 名 称 空间 。 可 将 存储 桶 
视 为 键 - 值 key-value) 存 储 ， 值 是 要 存储 的 数据 。 存 储 的 数据 没有 上 限 ，S3 为 大 文件 在 
存储 桶 的 进出 提供 所 需 的 一 切 。S3 通常 用 于 分 发 文件 ， 因 为 每 个 存储 桶 的 入 口 是 唯 一 
的 公开 URL。 通 过 配置 CloudFront 可 将 S3 用 作 后 端 。 

S3 提供 的 一 个 有 趣 特性 是 它 可 根据 文件 的 读 写 频率 提供 不 同 的 存储 后 端 。 例 如 ， 
当 你 想 存 储 大 文件 而 且 很 少 访问 时 ， 可 用 Glacier(https://aws.amazon.com/glacier/) 作 为 
后 端 。 一 个 使 用 场景 是 数据 备份 。 从 Python 应 用 访问 S3 非常 容易 ， 在 微服 务 中 使 用 
S3 作为 数据 后 端 也 很 常见 。 

ElasticCache(https://aws.amazon.com/elasticache/) 是 一 个 缓存 服务 ， 提 供 两 种 后 端 一 
一 Redis 和 Memcached。ElasticCache 利用 Redis 的 分 片 和 复制 功能 ， 并 人 允许 部 署 Redis 
节点 的 集群 。 如 果 将 大 量 数据 保存 在 Redis 中 ， 可 能 耗 尽 内 存 容量 ，Redis 的 分 片 机 制 
可 将 数据 分 散在 多 个 节点 上 来 提高 Redis 容量 。 

RDS(Relational Database Service，https://aws.amazon.com/rds) 是 一 个 数据 库 服务 ， 

[使 用 多 种 数据 库 作为 后 端 ， 尤 其 是 能 使 用 MySQL 和 PostereSQL 。 


=) 


GD AWS 有 一 个 在 线 计算 器 (http:/calculators3.amazonaws.comyindex.html) 用 来 估 
计 部 署 方案 的 成 本 。 


使 用 RDS 而 不 是 自行 部 署 数据 库 的 最 大 好 处 在 于 ，AWS 能 管理 节点 的 集群 ， 这 
样 不 必 完 成 任何 维护 工作 ， 就 能 让 数据 库 提供 高 可 用 性 和 可 靠 性 。AWS 最 近 在 RDS 
后 端 添 加 了 PostgreSQL， 这 让 RDS 变 得 非常 受 欢迎 ,这 也 是 人 们 选择 在 AWS 上 部 署 
应 用 的 原因 之 一 。 

最 近 添 加 的 另 一 个 后 端 是 AWS 专 有 的 Amazon Aurora(https://aws.amazon. 
com/rds/aurora/details/), “Ej AWS 绑 定 ， 实 现 了 MySQL 5.x， 但 比 普通 MySQL 速度 
更 快 (Amazon 声称 速度 能 提升 5 倍 )。 

最 后 , CloudFront(https://aws.amazon.com/cloudfront/) 是 Amazon 的 Content Delivery 
Network(CDN， 内 容 分 发 网 络 )。 当 用 户 遍 布 全 球 时 ， 使 用 CDN 是 处 理 静 态 文件 的 最 
佳 方法 。Amazon 会 缓存 文件 ， 并 将 客户 端的 请 求 路 由 到 最 近 的 服务 器 ， 尽 量 缩短 请 
求 的 延迟 。CDN 可 用 来 存放 视频 、CSS 和 IS 文件 一 -唯一 需要 注意 的 是 成 本 。 如 果 
微服 务 只 需要 提供 少量 静态 文件 ， 更 简单 的 方式 是 直接 用 EC2 实例 提供 。 
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11.4.1 消息 : SES、SQS 和 SNS 


对 于 所 有 消息 需求 ，AWS 提供 如 下 三 个 主要 服务 : 

o 简单 邮件 服务 (SES): 一 个 Email 服务 。 

e 简单 队列 服务 (SQS): 一 个 与 RabbitMQ 类 似 的 队列 。 

e 简单 通知 服务 (SNS): 一 个 发 布 /订阅 系统 和 推送 通知 系统 。 


1. 简单 邮件 服务 


如 果 服 务 要 给 用 户 发 送 邮件 ， 难 以 确保 是 否 最 终 成 功 发 送 到 用 户 的 收 件 箱 中 。 如 
果 从 应 用 服务 器 使 用 本 地 SMTP 服务 来 发 送 邮 件 ,只 有 完成 很 多 工作 并 正确 配置 系统 ， 
才能 避免 邮件 被 接收 服务 器 标记 成 垃圾 邮件 。 

此 外 , 即使 配置 正确 , 但 若 发 送 服务 器 的 卫 在 接受 服务 器 的 黑 名 单 的 他 组 中 ( 
为 某 个 垃圾 邮件 发 送 者 使 用 一 个 与 你 的 卫 接近 的 地 址 发 送 垃圾 邮件 )， 那 么 除了 试 
从 黑 名单 中 删除 瑟 外 ， 你 毫 无 办 法 。 最 糟 的 场景 是 使 用 垃圾 邮件 发 送 者 用 过 的 全。 
由 于 确保 邮件 到 达 预 期 目的 地 是 困难 的 ， 所 以 使 用 专门 的 第 三 方 服 务 来 发 送 邮 件 
是 个 好 主意 一 一 即便 微服 务 不 是 部 署 在 云 上 ， 也 同样 如 此 。 

市 场 上 有 很 多 这 样 的 第 三 方 服务 , AWS 有 简单 邮件 服务 (SES, https://aws.amazon. 
com/ses/)。 用 SES 发 邮件 只 需要 使 用 SES 的 SMTP 接口 即 可 。 它 也 提供 一 个 API, 不 
过 最 好 使 用 SMTP， 因 为 当 执 行 一 些 开发 或 测试 时 ， 服 务 可 使 用 本 地 SMTP. 


2. 简单 队列 服务 


SQS(https://aws.amazon.com/sqs/) 功 能 是 RabbitMQ 的 子 集 ， 对 大 多 数 使 用 场景 来 
说 已 经 足够 了 。 

可 创建 两 类 队列 。 先 入 先 出 (First-In-First-Out，FIFO) 能 按 接 收 消息 的 顺序 存储 消 
息 , 并 确保 从 队列 中 检索 到 的 消息 只 能 读 取 一 次 。 当 希望 保存 由 职 程 获取 的 消息 流 时 ， 
它们 非常 有 用 ， 就 像 使 用 Celery 和 Redis 所 做 的 一 样 。 这 个 队列 的 待 处 理 消息 上 限 是 
20 000 条 。 

第 二 种 类 型 (标准 类 型 ) 与 FIFO 相似 ， 但 不 能 保证 消息 的 顺序 。 它 比 FIFO 队列 更 
快 ， 待 处 理 消息 的 上 限 也 更 高 (120 000)。 

存储 在 SQS 的 消息 会 被 复制 到 AWS 云 中 的 多 个 AZ 上 来 实现 可 靠 性 。 

AWS 按 区 域 (Region) 和 区 域 中 的 可 用 区 (Availability Zone，AZ) 来 组 织 。 
区 域 彼此 独立 ， 以 确保 容错 和 稳定 性 。AZ 是 低 延迟 的 独立 连接 。 可 在 AWS 中 的 
同一 负载 平衡 器 后 使 用 多 个 AZ 实例 ， 以 便 在 同一 区 域 中 跨 不 同 的 AZ 实例 。 


Re 
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办 为 一 条 消息 的 上 限 是 256KB， 所 以 可 在 FIFO 队列 中 存储 SGB 数据 ， 在 标准 队 
列 存储 30GB 数据 。 换 句 话 说 ， 除 金钱 外 没有 真正 的 限制 。 


3. 简单 通知 服务 


消息 工具 中 的 最 后 一 个 服务 是 SNS(https://aws.amazon.com/sns/)， 它 提供 两 个 消息 


API. 

第 一 个 是 发 布 /订阅 API， 可 用 来 在 应 用 中 触发 动作 。 发 布 者 可 以 是 Amazon 服务 
或 你 的 应 用 ， 订 阅 者 可 以 是 一 个 SQS 队列 、 一 个 Lambda 函数 或 任何 HTTP 端点 ， 如 
微服 务 。 

第 二 个 是 推送 API， 可 用 来 向 移动 设备 发 送 消息 。 这 种 情况 下 ，SNS 通过 与 第 三 
方 API( 如 Google Cloud Messaging，GCMD 进 行 交互 来 抵达 手机 ， 或 通过 短信 (SMS) 发 
送 文本 消息 。 

SQS 和 SNS 服务 可 组 合 在 一 起 ， 以 取代 自 定义 部 署 的 消息 系统 ， 如 RabbitMQ。 
但 需要 检查 它们 的 功能 是 否 满足 你 的 需要 。 

下 一 节 将 介绍 可 用 于 初始 化 资源 和 部 署 的 AWS 服务 。 


11.4.2 ”初始 化 资源 和 部 署 : CloudFormation 和 ECS 


第 10 章 讲 过 ， 有 多 种 在 云 上 初始 化 资源 和 部 署 Docker 容器 的 方法 。 诸 如 
Kubemetes 工具 可 用 来 在 AWS 上 管理 所 有 运行 的 实例 。 

AWS 也 提供 自己 的 服务 来 部 署 容器 化 应 用 的 集群 ， 它 被 称 为 EC2 Container 
Service-ECS(https://aws.amazon.com/ecs), ， 使 用 一 个 称 为 CloudFormation(https://aws. 
amazon.com/cloudformation/) 的 服务 来 管理 其 他 服务 。 

CloudFormation 允许 通过 JSON 文件 描述 要 在 Amazon 上 运行 的 不 同 实例 ， 并 在 
AWS 上 自动 操作 一 切 ， 从 部 署 实 例 到 自动 扩展 。 

ECS 基本 是 一 个 仪表 盘 集 合 ， 通 过 使 用 预定 义 模板 ， 可 实现 集群 的 可 视 化 ， 并 操 
作 通 过 CloudFormation 部 署 的 集群 。 运 行 Docker 守护 进程 的 AMI 也 是 为 这 个 目的 所 
做 的 调整 ， 如 CoreOS 。 

使 用 ECS 的 方便 之 处 在 于 , 只 需要 填写 几 张 表单 , 就 可 在 几 分 钟 内 为 给 定 Docker 
镜像 创建 和 运行 集群 。ECS 控制 台 为 群集 提供 一 些 基本 度量 标准 ， 并 提供 很 多 功能 ， 
如 基于 CPU 或 内 存 使 用 情况 来 规划 一 次 新 部 署 。 

除了 基于 表单 的 最 初 设置 外 ， 由 ECS 部 署 的 集群 由 Task definition 驱动 。Task 
definition 定义 实例 的 完整 生命 周期 ， 描 述 Docker 镜像 如 何 运行 以 及 一 些 事件 发 生 时 
的 行为 。 
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11.5 在 AWS 上 部 署 简介 


前 面 介绍 了 主要 的 AWS 服务 ， 下 面 尝试 部 署 微 服务 。 

要 理解 AWS 如 何 工 作 ， 最 好 了 解 如 何 手 工 部 署 EC2 实例 ， 然 后 在 其 上 运行 微服 
务 。 本 节 描 述 如 何 部 署 CoreOS 实例 ， 在 其 中 运行 Docker 容器 ， 然 后 介绍 使 用 ECS 
部 署 自动 化 集群 ， 最 后 讨论 如 何 使 用 Route53 发 布 服务 的 集群 ， 这 些 集群 位 于 同一 域 
名 下 。 

首先 创建 AWS 账户 。 


11.5.1 创建 AWS 账号 


在 Amazon 上 部 署 的 第 一 步 是 在 https://aws.amazon.com 创建 一 个 账户 。 需 要 输入 

信用 卡 信息 来 完成 注册 , 但 某 些 情况 下 , 可 使 用 基本 计划 (basic plan) 免 费 使 用 一 些 服务 。 

免费 提供 的 服务 已 经 足以 评估 AWS 了 

旦 完成 注册 ， 就 会 被 重 定向 到 AWS pie 。 第 一 件 事 是 从 右上 角 的 登录 名 下 

的 菜单 中 选择 US East(N. Virginia) 地 区 。 北 弗吉尼亚 是 用 来 设置 特定 计 费 警告 的 区 域 。 

第 二 步 在 Billing 控制 台中 配置 警告 ， 页 面 在 https://console.aws.amazon. 

com/billing/home#/， 或 从 菜单 导航 到 这 里 。 在 Preferences 中 选中 Receive Billing Alerts 
复 选 框 ， 如 图 11-2 所 示 。 


Dasnooard Preferences © 
Bite 
Cost Explorer Receive POF Invoice By Email 

Turn on thie featuro to raceive a PDF version of your invoice by omal. Invoices are generally available 
Budgots within me first mree days of the monn: 
Reports 
Cost Allocation ~ Receive Billing Alerts 


Tags 
Payment Methods 


PaymentHistory  deabied. Manage Bling Aeris or by tne new budgets feature: 
Consolidated 
Biting Receive Billing Reports 

| Preferences Tumor ura to receive ongoing reports of yaur AWS charges owe or mare daly ANS delers 
é se S3 bucket that you specty where indicated below For corsoiidaied 

‘gains or ‘oneraies reports oniy for paying accounts, Linked accounts cannot sgn up 

Tax Settings 
DevPay Save to $3 Bucket Verity 


图 11-2 选中 Receive Billing Alerts 复 选 框 


一 旦 完成 ， 打 开 CloudWatch(https://console.aws.amazon.com/cloudwatch/home) 面 板 ， 
选择 左 侧 的 Alarms | Billing 创建 一 个 新 警告 。 此 时 弹出 一 个 新 窗口 ， 可 设置 为 当 某 个 
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服务 开始 花 钱 时 发 | 


此 通知 可 防止 浪费 钱 ， 如 图 11-3 所 示 。 
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提醒 。 此 处 可 设置 0.01 美元 作为 最 高 收费 限制 .如 果 只 进行 测试 ， 


任何 时 候 都 可 
面板 。 


有 服务 的 


Create Alarm 


Billing Alarm 
You can create a billing alarm to receive e-mail alerts when your AWS charges exceed a threshold 
you choose. Simply: 

1. Enter a spending thresholc 

2. Provide an emal address 

3 Check your nbax for a confirmation emali and click the link provided 

When my total AWS charges for the month 
exceed: $ 0.01 USD 


send a notification to: | tarex@ziade.org 


Reminder: for each address you add, you will receive an emai from AWS with the subject “AWS 
Notification - Subscription Confirmation*. Click the link provided in the message to confirm that 
AWS may deliver alerts to that address. 


Additional settings 
Provide additional configuration for your alarm. 


Treat missing data as: | missing J0 


one 


图 11-3 创建 一 个 新 警告 


[通过 单 击 左 上 角 的 Services 菜单 来 访问 服务 。 它 会 打开 一 个 包含 所 


如 果 单 击 EC2, 会 重 定 向 到 位 于 https://console.aws.amazon.com/ec2/v2/home 的 EC2 
控制 台 ， 在 那里 可 创建 一 个 新 实例 ， 如 图 11-4 所 示 。 


Resource Groups ~ 


AWS services Helpful tips 


2 | 前 Manage your costs 


Get real-time biting alerts based on you 


“ Recently visted services 


> Al services 


sage budgets. Start now 


@ Greate an organization 
Use AWS Organizations for policy-based 


management of mutiole AWS accourt 


Build a solution 


Got siartod win simple wizards and automated workowe. 
Launch a viral © Baida wed 200 站 Explore AWS 
machine paes ai 


Wan EC2 
-1mnue 


Francisco, Lean more. 


New Product Announcements 


View the latest arnouncements from the AWS Sur 


£13 Connect an oT éng Siart a development Register a doman 
device project 3 
党 a 
Migrate from Oracle to Amazon Aurora 
Learn how tomigrate fom Oracle to Amazon Aur 
doania. Wan projec: 
Learn to build See al Introducing Amazon Kinesis Analytics 


图 11-4 创建 一 个 新 实例 
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11.5.2 ”使 用 CoreOS 在 EC2 上 部 署 


t; Launch Instance 蓝 色 按钮 ， 选 择 一 个 AMI 来 运行 新 的 VM， 如 图 11-5 所 示 。 


Services ~ Resource Groups 


1. Choose AMI 2. Choose Instance Type 


Step 1: Choose an Amazon Machine Image (AMI) 
An AMI is a template that contains the software configuration (operating system, application server, and applications) required to launch your 
instance. You can select an AMI provided by AWS, our user community, or the AWS Marketplace; or you can select one of your own AMis. 


Quick Start i 1to50of640AMIs > >| 
| Q Coreos x | 


My AMis 
{Efawsmarketplace 11 "suts tor "CoreOS" on AWS Marketplace 


AWS Marketplace Partner software pre-configured to run on AWS 
Common ae a CoreOS-alpha-420.1.0-hvm - ami-0006dd68 
CoreOS alpha 420.1.0 (HVM) 64-bit 
Operating system l 
Root device type: bs Vituazation type: hvm 
Amazon Linux ü 
Cent OS 2 ð CoreOS-alpha-509.1.0 - ami-00158768 EB 
best @ CoreOS alpha 509.1.0 (PV) 
or 
Fedora o 64-bit 
iaon 3 Root device type: ebs Vtuakzation type: paravrtuai 
OpenSUSE ~ 
Other Linux ð A CoreOS-alpha-1339.0.0-hvm - ami-00598116 ED 


图 11-5 选择 一 个 AMI 来 运行 新 的 VM 


在 Community AMIs 下 搜索 CoreOS 实例 ， 会 列 出 所 有 可 用 的 CoreOS AMI. 

这 里 有 两 种 AMI: ParavirtualPV) 和 Hardware Virtual Machine(HVM)。 这 些 是 Xen 
管理 程序 中 的 两 个 虚拟 化 级 别 。PV 是 完全 虚拟 化 ，HVM 是 部 分 虚拟 化 。 根 据 Linux 
不 同 的 发 行 版 ， 某 些 类 型 的 VM 可 能 无 法 在 PV tiny 

如 果 只 想 尝试 一 下 ， 在 列表 中 选择 第 一 个 PV AMI。 然 后 在 下 一 个 页 面 选择 
tlmicro， 选 择 Review And Launch 选项 后 na 最 后 单 击 Launch 按钮 。 

在 创建 VM 前 ， 控 制 台 要 求 你 创建 一 个 新 的 SSH 密 钥 对 。 如 果 想 访问 这 个 VM, 
这 是 关键 一 步 。 应 该 给 每 个 VM 生成 新 密 钥 对 ， 并 给 密 钥 对 指定 唯一 名 称 ， 然 后 下 载 
文件 。 将 获得 一 个 .pem 文件 ， 可 将 它 添加 到 ~/.ssh 目录 中 ， 如 图 11-6 所 示 。 


0: 提示 : 不 要 丢失 此 文件 ， 出 于 安全 考虑 ，Amazon 不 会 存储 它 。 


一 旦 实例 运行 起 来 , 就 会 显示 在 EC2 控制 台 的 列表 中 (6 单 击 左 侧 的 Instances 菜单 
a 
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Select an existing key pair or create a new key pair X 


A key pair consists of a public key that AWS stores, and a private key file that you store. Together 
they allow you to connect to your instance securely. For Windows AMIs, the private key file is required 
to obtain the password used to log into your instance. For Linux AMIs, the private key file allows you to 
securely SSH into your instance. 


Note: The selected key pair will be added to the set of keys authorized for this instance. Learn more 
about removing existing key pairs from a public AMI. 


Create a new key pair B 
Key pair name 
runnerly| 
Download Key Pair 


Q You have to download the private key file (*.pem file) before you can continue. Store 
it in a secure and accessible location. You will not be able to download the file 


again after it's created, 


图 11-6 ”处 理 密 钥 对 


可 在 status checks 列 中 查看 VM RAS. AWS 部 署 VM 会 花费 一 些 时 间 , 一 旦 就 绪 ， 
就 能 用 SSH 来 操作 VM。 这 需要 使 用 作为 密 钥 的 .pem 和 VM 的 公开 DNS 地 址 。 
CoreOS 的 默认 用 户 是 core， 一 旦 连接 ， 说 明 运 行 Docker 容器 需要 的 一 切 已 经 就 
绪 。 但 需要 更 新 它 。 当 CoreOS 持续 更 新 时 ， 可 用 update_engine client 命令 强制 系统 
进行 更 新 ， 然 后 使 用 sudo reboot 重启 VM。 如 下 面 的 脚本 所 示 : 


$ ssh -i ~/.ssh/runnerly.pem 

core@ec2-34-224-101-250. compute-1.amazonaws .com 

CoreOsS (alpha) 

core@ip-172-31-24-180 ~ $ 

core@ip-172-31-24-180 ~ $ update _engine client -update 

[0530/083245: INFO:update_engine client.cc (245)] Initiating update 
check and 

install. 

[0530/083245: INFO: update_engine_client.cc (250) ] Waiting for update to 

complete. 

LAST_CHECKED_TIME=1496132682 

PROGRESS=0 . 000000 

CURRENT_OP=UPDATE_STATUS_UPDATED_NEED_REBOOT 
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NEW_VERSION=0.0.0.0 
NEW_SIZE=282041956 
core@ip-172-31-24-180 ~ $ sudo reboot 


Connection to ec2-34-224-101-250.compute-1.amazonaws.com closed by 


remote 


a 


回 


Hub 的 docker-flask 镜像 运行 Web MH: 


host. 


Connection to ec2-34-224-101-250.compute-1.amazonaws.com closed. 


VM 启动 后 ， 你 将 得 到 最 新 版 本 的 Docker。 然 后 尝试 从 一 个 busybox Docker 容器 
显 hello， 如 下 所 示 : 


$ ssh -i ~/.ssh/runnerly.pem 

core@ec2-34-224-101-250 . compute-1.amazonaws . com 

Last login: Tue May 30 08:24:26 UTC 2017 from 91.161.42.131 on pts/0 
Container Linux by CoreOS alpha (1423.0.0) 

core@ip-172-31-24-180 ~ $ 

docker -v Docker version 17.05.0-ce, build 89658be 
core@ip-172-31-24-180 ~ $ docker run busybox /bin/echo hello 
Unable to find image 'busybox:latest' locally 

latest: Pulling from library/busybox 

1cae461a1479: Pull complete 

Digest: 
sha256:c79345819a6882c31b41bc771d9a94£c52872£a651b36771 fbe0c8461d7ee558 
Status: Downloaded newer image for busybox:latest hello 
core@ip-172-31-24-180 ~ $ 


如 果 前 面 的 调用 成 功 了 ， 那 么 完整 Docker 环境 就 可 以 工作 了 。 下 面 使 用 Docker 


core@ip-172-31-24-180 ~ $ 

docker run -d -p 80:80 p0bailey/docker-flask 
Unable to find image 'pObailey/docker-flask:latest' locally 
latest: 

Pulling from p0bailey/docker-flask 
bf£5d46315322: Pull complete 

9f13e0ac480c: Pull complete 

e8988b5b3097: Pull complete 

40af181810e7: Pull complete 

e6f7c7e5c03e: Pull complete 

ef4a9c1b628c: Pull complete 
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d4792c0323df: Pull complete 

6ed446a13dca: Pull complete 

886152aa6422: Pull complete 

b0613c27c0ab: Pull complete 

Digest: 

sha256 : 1daed864d5814b602092b44958d7ee6aa9f915c6ce5£4d662d7305e46846353b 
Status: Downloaded newer image for pObailey/docker-flask:latest 
345632b94£02527c972672ad42147443£8d905d5f9cd735c48c35effd978e971 


默认 情况 下 ，AWS 只 为 SSH 访问 打开 端口 22。 为 访问 端口 80， 需 要 打开 EC2 


空 制 台 的 Instances 列表 ， 单 击 为 实例 创建 的 安全 组 (名 称 通 常 为 launch-wizard-xx)， 如 
图 11-7 所 示 。 
Edit inbound rules X 
Type i Protocol (i Port Range ‘i Source i 
Hrp B TCF x Cosiom B 00.0.00 o 
imre B Custom Bw o 
ssi B CF custom [B 0.0.0.00 o 
Add Rule 
NOTE: Any edits made on existing rules will result in the edited rule being deleted and a new rule created with the new details. This will cause traffic that 
depends on that rue to be cropped tor a very Erie period of time unti the new rule ean be created. 
Cancel bd 
图 11-7 访问 端口 80 
单 击 它 会 弹出 安全 组 页 面 ， 可 在 这 里 编辑 inbound rules( 传 入 规则 ) 来 添加 HTTP. 
会 立刻 打开 端口 80， 然 后 可 在 浏览 器 上 使 用 公共 DNS 来 访问 Flask 应 用 。 


1 


这 就 是 在 AWS 上 运行 Docker 镜像 需要 完成 的 工作 ， 是 任何 部 署 的 基础 。 以 此 为 
础 ， 可 创建 一 组 实例 来 部 署 集群 ， 这 些 实例 由 AutoScaling 和 ELB 服务 进行 管理 。 

高 级 工具 CloudFormation 可 通过 定义 模板 来 自动 执行 这 些 步 又 。 但 在 使 用 Docker 
，ECS 是 在 AWS 实现 自动 部 署 的 终极 杀 器 。 下 一 节 将 介绍 如 何 使 用 它 。 


1.6 使 用 ECS 部 署 


前 面 介绍 过 ，ECS 负责 自动 部 署 Docker 镜像 ， 并 设置 实例 需要 的 其 他 服务 。 
这 种 场景 下 ， 不 需要 自行 创建 EC2 实例 。ECS 使 用 自己 的 AMI， 这 个 AMI 专门 


用 来 在 EC2 上 运行 Docker 容器 。 它 很 像 CoreOS， 有 一 个 Docker 守护 进程 ， 但 为 了 


J 


共享 配置 以 及 触发 事件 而 与 AWS 基础 设施 进行 集成 。 


ECS 集群 部 署 由 多 个 元 素 组 成 : 
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e Elastic Load Balancer( 在 EC2 中 ): 用 来 给 实例 分 发 请 求 。 
e Task definition: 用 来 确定 哪个 Docker 镜像 需要 部 署 ， 容 器 和 主机 之 间 应 该 绑 
定 哪 个 端口 。 

e Service: 使 用 Task definition 来 驱动 EC2 实例 的 创建 ， 并 在 其 中 运行 Docker 

e Cluster: 组合 多 个 Service、 多 个 Task definition 和 ELB。 

刚 开 始 会 觉得 在 ECS 上 部 署 群集 很 复杂 ， 因 为 需要 按 特 定 顺序 创建 元 素 。 例 如 ， 
首先 需要 设置 ELB。 

幸运 的 是 , 通过 运行 向 导 , 将 按 正确 顺序 创建 。 首 次 在 控制 台 上 访问 ECS 服务 时 ， 
将 显示 向 导 页 面 。 打 开 登 录 页 后 ， 可 单 击 Get Started 按钮 运行 向 导 。 

选中 Deploy a sample application onto an Amazon ECS Cluster 选项 ， 然 后 继续 ， 如 
图 11-8 所 示 。 


Getting Started with Amazon EC2 Container Service (ECS) 


Select options to configure 


Get started by running a sample app with EC2 Container Service (ECS), setting up a private image repository with EC2 Container Registry (ECR), 
or both. 


1wantto 4 Deploy a sample application onto an Amazon ECS Cluster 


woacaing group ard help you other resources tc 


图 11-8 选中 Deploy a sample application onto an Amazon ECS Cluster 选项 


此 操作 将 显示 Create a task definition 对 话 框 ， 可 在 其 中 定义 任务 名 和 运行 该 任务 
的 容器 ， 如 图 11-9 所 示 。 

上 例 部 署 了 相同 的 Flask 应 用 ， 与 之 前 部 署 在 EC2 上 的 应 用 相同 ， 所 以 可 在 Task 
definition 的 Container 表单 上 提供 镜像 名 。Docker 镜像 需要 位 于 Docker Hub 或 AWS 
自己 的 Docker 镜像 仓库 中 。 

在 这 个 表单 中 , 也 可 设置 所 有 Docker 容器 和 主机 系统 的 端口 映射 关系 。 镜像 运行 
时 会 使 用 该 选项 。 这 里 绑 定 端口 80, 这 是 我 们 使 用 的 Docker 镜像 公开 的 端口 , Docker 
中 包含 Flask 应 用 。 

向 导 的 下 一 步 是 Configure service 窗口 ， 如 图 11-10 所 示 。 
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Create a task definition 


An Amazon ECS task definition is a blueprint or recipe for containers. You can modify parameters in the task def 
particular application (for example, to provide more CPU resources or change the port mappings). Learn more 


Task definition name* 9 


Container name* 


pObailey/docker-flask 


Custom image format: [registry-urf/Inamespacey|image|{tag) 


Memory Limits (MB)* Hard limit 300 


© Add Soft limit 


Port mappings 


图 11-9 定义 任务 名 和 容器 


Configure service 
Create a name for your service and set the desired number of tasks to start with. A service auto-recovers any stopped tasks to 


maintain the desired number that you specify here. Later, you can update your service to deploy a new image or change the running 
number of tasks. Learn more 


Service name* runnery o 


Application Load Balancer 


Create an Application Load Balancer and configure your service to run behind it. Learn more 


Container name: | nask:80-1cp 


container port 
protocol 


Application Load 80 
Balancer listener port 


Application Load HTTP 
Balancer listener 
protocol 


Outside of the frst-run wizard, you can select a certificate to use HTTPS. 


Health check path 


图 11-10 Configure service 窗 
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我 们 给 服务 添加 三 个 任务 , 希望 在 集群 中 运行 三 个 实例 , 每 个 Docker 容器 运行 一 
个 。 在 Application Load Balancer 区 域 中 ， 使 用 之 前 的 容器 名 和 端口 。 最 后 ， 需 要 配置 
一 个 集群 ， 这 里 需要 设置 实例 类 型 、 一 些 实例 以 及 将 使 用 的 SSH 密 钥 对 ， 如 图 11-11 


所 示 。 


Configure cluster 


Your Amazon ECS tasks run on container instances (Amazon EC2 instances that are running the ECS container agent). Configure 
the instance type, instance quantity, and other details of the container Instances to launch into your cluster 


Security group 


By default, your instances are accessible from any IP address. We recommend that you update the below security group ingress rule 
to allow access from known IP addresses only. ECS automatically opens up port 80 to facilitate access to the application or service 
you're running, 


Container instance IAM role 

The Amazon ECS container agent makes calls to the Amazon ECS API actions on your behalf, so container instances that run the 
agent require the ecsinstanceRole IAM policy and role for the service to know that the agent belongs to you. If you do not have the 
ecsinstanceRole already, we can create one for you. 


Cluster name* default 8 
EC2 instance type" 2. micro -0 
Number of instances* 3 o 


Allowed ingress source(s)" Anywhere -© 


mm so 


You will not be able to SSH into your EC2 instances without a key pair. You can create a 
new key pair in the EC2 console (7. 


图 11-11 配置 一 个 集群 


验证 最 后 一 步 后 ，ECS 向 导 会 运行 一 段 时 间 ， 来 创建 所 有 部 件 。 一 旦 准备 就 绪 ， 
将 看 到 view service 按钮 ， 它 在 所 有 部 件 都 创建 好 后 变 成 可 点 击 状态 。Service 页 面 总 
结 部 署 的 所 有 部 件 ， 以 及 几 个 用 来 检查 每 个 服务 详情 的 选项 卡 ， 如 图 11-12 所 示 。 由 
ECS 向 导 完 成 的 部 署 可 概括 如 下 : 

o 创建 一 个 Task definition 来 运行 Docker 容器 。 

e 添加 一 个 集群 ， 其 中 有 三 个 EC2 实例 。 


o 在 集群 中 添 力 


0 一 个 服务 ， 在 EC2 实例 中 用 Task definition 部 署 Docker 容器 。 


e 通过 之 前 创建 的 ELB 实现 负载 均衡 。 


如 果 


a 


到 EC2 控制 台 ， 访 问 左 侧 的 Load Balancing | Load Balancers 菜单 ， 将 看 到 


新 创建 的 ECS-first-run-alb ELB 已 显示 在 服务 ECS 集群 了 。 
ELB 有 一 个 公开 的 DNS 名 ， 这 样 可 通过 浏览 器 访问 Flask 应 用 。URL 的 形式 是 


http://<ELB name>.<region>.elb.amazonaws.com. 


$118 在 AWS 上 部 署 
下 一 节 介绍 如 何 将 ELB URL 链接 到 干净 的 域名 上 。 
Service : runnerly EE eS 


Details 


Load Balancing 
Custer etau: Target Group Name Container Name Container 
sume ACTVE aroe wonapp traet group Task ry 
Task Detintion rase 
Deployment Options 
esrea count 3 
jt A Minimum heathy percent 100 @ 
Running count 3 


Maximum percent 200 © 
Task Placement 


Strategy No strategies 
Constraint No constraints 


Tasks Events Deployments Auto Scaling Metrics 


Task status: (Running) Stopped 
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Took 


Tosk Definition 


Port 


Page stro 50 ~ 


Group ‘Last status Desired status 
eee area oe kane ny PNAN 
图 11-12 总 结 部 署 的 所 有 部 件 


11.7 Routed3 


Route53 可 月 


日 来 创建 域名 的 别名 。 如 果 在 https://console.aws.amazon. 


com/route53 上 


访问 Route53 服务 的 控制 台 ， 单 击 hosted zones 菜单 ， 可 给 域名 添加 一 个 新 的 Hosted 


Zone， 这 是 之 前 创建 的 ELB 的 别名 。 
假设 你 已 拥有 来 自 域名 注册 服务 商 的 域名 ， 那 么 可 简单 地 将 域名 村 


的 DNS。 单 击 Create Hosted Zone， 然 后 添加 域名 ， 如 图 11-13 所 示 。 


Create Hosted Zone 


A hosted zone is a container that holds information about how you want to 
route traffic for a domain, such as example.com, and its subdomains. 


Domain Name: | fun nerly.org 


Comment: 


Type: | Public Hosted Zone 


A public hosted zone determines how traffic is routed 
on the Internet. 


图 11-13 添加 域名 


和 E 定 向 到 AWS 
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创建 后 ， 可 在 Create Record Set 中 选择 一 个 A 类 型 记录 。 该 记录 必须 是 别名 ， 间 


且 在 Alias Target 输入 框 中 出 现 一 个 包含 所 有 可 用 项 的 下 拉 列 表 ， 如 图 11-14 所 示 。 


Create Record Set 


Name: runnerty.org 


Type: A -|Pv4 address + 


Alias: Ọ Yes No 


Alias Target: 


You can also type | 一 S3 website endpoints 
~ CloudFront disti No Targets Available 
- Elastic Beanstalt 
_ ELB load balanc. — ELB Application load balancers 
- S3 website endp ECS-first-run-alb-1566641166.us-east-1.elb.arr 
~ Resource record 一 ELB Classic load balancers 
Leam More 
runnerly-1681925161.us-east-1.elb.amazonaw: 
mean CloudFront distributions 
Routing icy No Targets Available 
Route 53 responds, — Filastin Reanstalk anviranments 
More 


Evaluate Target Health: ~Yes ONo 


图 11-14 Create Record Set 窗口 


前 面 通过 向 导 创建 的 ELB 负载 均衡 器 也 应 出 现在 列表 中 ， 选 择 它 来 链接 域名 和 
ELB。 


完成 这 一 步 便 可 将 域名 链接 到 已 部 署 的 ECS 群集 上 。 可 用 子 域名 增加 更 多 条 目 ， 
例如 每 个 子 域名 都 对 应 一 个 已 部 署 的 微服 务 。 

Route53 在 全 球 都 有 DNS 服务 器 ， 还 有 其 他 一 些 有 趣 功能 ， 如 健康 检查 等 ， 它 可 
定期 连接 你 的 ELB 和 其 中 的 服务 。 如 果 连 接 失败 ，Route53 自动 给 CloudWatch 发 送 
警告 。 如 果 有 几 个 ELB， 所 有 请 求 会 被 转发 到 另 一 个 健康 的 ELB 上 。 
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11.8 “本章 小 结 


容器 化 应 用 正成 为 部 署 微服 务 的 标准 ， 云 供应 商都 在 追随 这 种 趋势 。 

Google. Amazon 和 其 他 大 型 云 供应 商都 支持 你 部 署 和 管理 Docker 容器 集群 。 所 
以 , 如 果 应 用 是 Docker 化 的 , 应 该 能 很 容易 地 在 这 些 云 上 部 署 。 本 章 介 绍 如 何在 AWS 
中 部 署 ，AWS 有 自己 用 来 管理 Docker 镜像 的 服务 ECS)， 而 且 与 其 他 AWS 服务 紧密 
集成 。 

一 旦 熟悉 所 有 AWS 服务 ， 就 会 发 现 这 是 一 个 非常 强大 的 平台 。 可 发 布 的 不 仅 是 
大 规模 的 微服 务 的 应 用 ,也 适合 部 署 小 应 用 ， 相 对 于 运行 自己 的 数据 中 心 , 成 本 较 低 。 

下 一 章 将 总 结 本 书 ， 思 考 构建 微服 务 的 艺术 。 
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接 下 来 做 什么 ? 


5 年 前 选择 Python 版 本 时 ， 要 考虑 以 下 两 个 因素 : 

e 应 用 部 署 到 哪 种 操作 系统 ? 

e 应 用 使 用 的 库 是 否 可 用 ? 

这 里 有 一 个 极端 的 例子 描述 了 在 使 用 CentOS 时 ， 操 作 系 统 如 何 影 响 这 个 决定 。 
CentOS 与 Red Hat Enterprise Linux(RHEL) 非 常 接近 ， 但 移 除了 商业 支持 。 许 多 公司 从 
RHEL 开始 培养 内 部 团队 ， 最 终 迁 移 到 CentOS 上 。 有 很 多 使 用 Centos 的 理由 ,例如 
这 个 Linux 发 行 版 非常 流行 ， 并 构建 在 一 组 强大 和 稳定 的 管理 工具 上 。 

然而 , 使 用 CentOS 意 味 着 不 能 在 项 目 上 使 用 最 新 的 Python 版 本 (在 系统 安装 了 自 定 
义 Python 实例 的 情况 除外 )。 而 且 ， 从 运 维 角度 看 ， 这 通常 是 一 个 糟糕 的 实践 ， 因 为 没 
有 使 用 Python 社区 支持 的 版 本 。 因 此 ， 一 些 开 发 者 被 迫 在 很 长 时 间 内 使 用 Python 2.6, 
无 法 使 用 最 新 的 Python 语法 和 特性 。 

些 用 户 认为 有 些 必需 的 库 未 迁移 到 Python 3， 因 此 仍 停留 在 Python 2。 实 际 上 ， 
这 并 非 事实 一 如 果 在 2017 年 启动 一 个 新 的 微服 务 项 目 ， 一 切 都 在 Python 3 中 可 用 。 

现在 ， 这 两 个 坚持 使 用 Python 旧版 本 的 原因 已 经 消失 了 。 你 可 使 用 最 新 的 Python 3, 
将 应 用 部 署 到 Docker 容器 中 的 任何 Linux 发 行 版 上 。 

如 第 10 FEAT, Docker 似乎 成 为 容器 化 应 用 的 最 新 标准 。 但 其 他 玩家 也 可 能 
为 重要 替代 品 ， 例 如 CoreOS 的 水 tlhttps://coreos.com/tkt)。 无 论 如 何 ， 当 所 有 容器 引 
擎 都 基于 统一 标准 来 描述 镜像 时 ， 容 器 技术 会 成 熟 起 来 一 -这 是 OCI(Open Container 
Initiative) 等 组 织 的 目标 。OCI 由 所 有 大 型 容器 和 云 服务 玩家 驱动 。 

ETERRA, 选择 最 新 Python 3 和 Docker 来 构建 微服 务 是 一 个 安全 的 赌注 。 将 
来 ，Dockerfile 的 语法 可 能 与 OCI 组 织 构建 的 语法 非常 接近 。 
因此 ， 如 果 Python 3.6 及 其 后 续 版 本 具有 优良 的 特性 ， 那 么 没 理由 阻止 你 继续 前 
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栈 或 使 用 不 同 Python 版 本 是 没有 问题 的 。 
本 书 选择 Flask， 因 为 这 个 框架 适 于 构建 微服 务 ， 并 有 广泛 和 成 熟 的 生态 系统 。 但 
从 了 Python 3.5 开始 ， 基 于 asyncio 库 (https://docs.python.org/3/library/asyncio.html) 的 Web 


框架 以 及 async 和 await 等 新 的 关键 字 了 


E 成 为 重要 


进 以 及 在 下 一 个 微服 务 使 用 它们 一 一 如 同 本 书 介绍 的 ， 在 不 同 微 服务 上 使 用 不 同 技术 


的 备 选项 。 


很 可 能 在 几 年 后 ， 其 中 一 个 会 代替 Flask 成 为 最 受 欢迎 的 框架 。 这 是 因为 它们 在 


VO 密集 型 微服 务 上 的 性 能 表现 非常 好 ， 而 且 开发 


者 们 开始 接受 异步 编程 方式 。 


本 章 将 介绍 Python 3.5+ 中 的 异步 编程 是 如 何 工作 的 ， 并 探索 两 个 可 用 来 构建 异步 


微服 务 的 Web 框架 。 


12.1 和 迭代 器 和 生成 器 


要 理解 Python 中 的 异步 编程 如 何 工作 ， 首 先 必须 理解 迭代 器 (iterator) 和 生成 器 
(generator) 的 工作 原理 ， 它 们 是 Python 异步 特性 的 基础 。 
Python 中 的 迭 代 器 是 实现 了 和 迭代 器 协议 Gterator protocoD) 的 类 。 这 个 类 必须 实现 下 


面 两 个 方法 : 


e _iter 0: 返回 真正 的 迭代 器 。 通 常 返 回 self. 
e next): 返回 下 一 个 值 ， 直 至 抛 出 StopIteration0 异 常 。 
下 例 将 Fibonacei 序列 实现 为 一 个 迭代 器 : 


class Fibo: 


def init (self, max=10): 


self.a, self.b = 0, 1 
self.max = max 


self.count = 0 


def iter (self): 


return self 


def next (self): 
try: 
return self.a 


finally: 


if self.count == self.max: 


raise StopIteration() 


self.a, self.b = self.b, self.a + self.b 
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self.count += 1 
eS BEA EL, W FR: 


>>> for number in Fibo(10): 
print (number) 


为 让 迭代 器 更 具有 Python 特征 ，Python 添加 了 生成 器 ， 并 引入 yield 关键 字 。 当 
函数 使 用 yield 而 不 是 retum 时 ， 会 被 转换 成 生成 器 。 在 执行 过 程 中 过 到 yield 关键 字 
时 ， 函 数 会 返回 yield 值 并 暂停 执行 。 


def fibo (max=10): 
a, b=0, 1 
cpt = 0 
while cpt < max: 
yielda 
a; b=b atb 
cpt += 1 


这 样 的 行为 让 生成 器 与 其 他 语言 中 的 协同 程序 有 些 相似 (但 协同 程序 是 双向 的 )。 
协同 程序 能 像 yield 那样 返回 值 ， 还 能 接收 一 个 值 并 在 下 次 迭代 中 使 用 。 

能 暂停 函数 的 执行 并 在 两 个 方向 与 其 通信 是 异步 编程 的 基础 。 一 旦 具备 这 样 的 能 
力 ， 就 能 使 用 事件 循环 ， 并 和 暂停 和 恢复 函数 的 执行 。 

通过 send0 方 法 来 扩展 yield 的 调用 ， 就 可 接收 调用 方 传递 的 值 。 下 面 的 例子 中 ， 
teminalO 函 数 模拟 一 个 终端 ， 实 现 了 三 个 指令 : echo、exit 和 eval: 


def terminal (): 
while True: 


msg = yield # msg gets the value sent via a send() call 
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if msg == 'exit': 
print ("Bye!") 
break 


elif msg.startswith('echo'): 
print (msg.split('echo ', 1) [1]) 
elif msg.startswith('eval'): 


print (eval (msg.split('eval', 1) [1])) 


实例 化 这 个 生成 器 后 ， 就 能 用 send0 方 法 来 接收 数据 : 


>>> t = terminal () 


>>> 七 .next () # call to initialise the generator - similar to send (None) 


>>> t.send("echo hey") 


hey 


>>> t.send("eval 1+1") 
2 


>>> t.send ("exit") 

Bye! 

Traceback (most recent call last): 
File "<stdin>", line 1, in <module> 


StopIteration 


注意 , 在 最 新 的 Python 3 中 , 这 段 代码 中 的 tnext0 需 要 改 成 next(0) 或 t_ next 0。 
有 了 上 面 添 加 的 代码 ，Python 生成 器 变 得 类 似 于 协同 程序 。 

对 yield 的 另 一 个 扩展 是 yield from， 它 允许 链 式 调用 另 一 个 生成 器 。 
考虑 下 面 的 例子 ， 一 个 生成 器 使 用 其 他 两 个 生成 器 来 生成 (yield) 值 : 


def genl(): 
for 1 in [1, 2, 3]: 
yield i 


def gen2(): 
fer i in abe": 


yield i 


def gen(): 


for val in gen1(): 
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yield val 
for val in gen2(): 


yield val 


可 使 用 一 个 yield from 调用 来 蔡 换 上 面 代 码 gen0 里 的 两 个 for 循环 : 


def gen(): 
yield from gen1() 
yield from gen2 () 


下 面 是 调用 gen0 方 法 的 例子 ， 它 在 每 个 子 生成 器 调用 完毕 后 返回 : 


>>> list (gen()) 
[1, 2, 3, 'a', 'b', 'c'] 


调用 其 他 多 个 协同 程序 并 等 待 它们 执行 完毕 是 异步 编程 的 一 个 流行 模式 。 它 允许 
开发 者 将 逻辑 拆 分 成 较 小 的 函数 并 依次 组 装 起 来 .每 个 yield 调用 都 是 函数 暂停 执行 并 
让 其 他 函数 接管 的 机 会 。 

有 了 这 些 特 性 ，Python 在 支持 原生 异步 编程 上 更 进一步 。 过 去 ， 使 用 迭代 器 和 昌 
成 器 构建 代码 块 来 创建 原生 的 协同 程序 。 


HT 


12.2 ”协同 程序 


为 更 直观 地 进行 异步 编程 ,Python 3.5 引入 await 和 async 关键 字 以 及 coroutine 类 
AY. await 调用 几乎 等 价 于 yield from, 目标 是 从 一 个 协同 程序 中 调用 另 一 个 协同 程序 。 

await 与 yield from 的 区 别 在 于 ， 不 能 使 用 await 调用 一 个 生成 器 。 

async 关键 字 能 标记 函数 、for 循环 或 with 块 ， 使 其 成 为 一 个 原生 协同 程序 。 如 果 
使 用 这 个 函数 ， 将 得 到 一 个 coroutine 类 型 的 对 象 ， 而 不 是 生成 器 。 

添加 到 Python 中 的 原生 coroutine 类 型 就 像 一 个 完全 对 称 的 生成 器 ， 但 所 有 往返 
的 调用 都 被 代理 到 一 个 事件 循环 中 。 事 件 循 环 负责 协调 程序 的 执行 。 

下 面 使 用 asyncio 库 来 运行 main0 函 数 ， 它 并 行 调用 多 个 协同 程序 : 


import asyncio 


async def compute(): 
for i in range(5): 
print ("compute %d' % i) 


await asyncio.sleep(.1) 
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async def compute2(): 
for i in range(5): 
print ('compute2 %d' % i) 


await asyncio.sleep(.2) 


async def main(): 


await asyncio.gather(compute(), compute2 () ) 


loop = asyncio.get_event_loop() 
loop.run until complete (main () ) 


loop.close () 


值得 注意 的 是 ， 除 了 使 用 async 和 await 关键 字 ， 它 与 普通 顺序 执行 的 Python 代 
码 十 分 相似 ， 这 意味 着 可 读 性 很 高 。 与 使 用 线程 不 同 ， 协 同 程序 通过 让 出 控制 权 (而 不 
是 中 断 调用 ) 来 工作 ， 所 以 执行 顺序 是 确定 的 ， 每 次 运行 发 生 的 事件 都 相同 。 

注意 asyncio.sleep0 是 一 个 协同 程序 ， 所 以 使 用 await 关键 字 来 调用 它 。 

如 果 运 行 这 个 程序 ， 将 得 到 以 下 输出 : 


$ python async.py 
compute 0 
compute2 0 
compute 1 
compute2 1 
compute 2 
compute 3 
compute2 2 
compute 4 
compute2 3 
compute2 4 


下 一 节 将 介绍 aysncio 库 。 


12.3 asyncio Æ 


asyncio(https://docs.python.org/3/library/asyncio.html) Æ 最 初 称 为 Tulip, 7 
Guido(Python 的 作者 ) 的 一 个 实验 。asyncio 提供 用 来 构建 基于 事件 循环 的 异步 程序 的 
所 有 基础 设施 。 


第 12 章 接 下 来 做 什么 ? 


这 个 库 的 出 现 早 于 Python 语言 的 async 和 await 以 及 协同 程序 。 

asyncio 库 的 灵感 源 于 Twisted, 提供 若干 模仿 Twisted 传输 和 协议 的 类 。 为 构建 基 
于 这 些 类 的 应 用 ， 需 要 结合 使 用 传输 类 (例如 TCP) 和 协议 类 (例如 HITP)， 然 后 使 用 回 
调 方 式 将 不 同 部 分 编排 起 来 。 

但 引入 原生 协同 程序 后 ， 回 调 风格 的 编程 方式 就 不 再 吸引 人 了 。 通 过 await 调用 
来 编排 执行 顺序 的 可 读 性 更 高 。 虽 然 可 通过 asyncio 协议 和 传输 类 来 使 用 协同 程序 ， 
但 asyncio 最 初 并 非 为 它 设 计 ， 而 且 需 要 一 些 额外 工作 才能 使 用 。 

然而 ， 最 主要 的 特性 是 事件 循环 API， 以 及 用 来 调度 协同 程序 执行 的 所 有 函数 。 
事件 循环 通过 操作 系统 的 IO 轮 询 器 (如 devpoll、epoll 和 kqueue) 将 给 定 IO 事件 对 应 
的 执行 函数 注册 到 系统 中 。 

例如 ， 事 件 循环 能 在 socket 上 等 待 数据 可 用 后 ， 触 发 一 个 处 理 数据 的 函数 。 但 这 
种 模式 可 推广 到 任何 事件 上 。 例 如 ， 假 定 协同 程序 A 等 待 协同 程序 B 完成 后 才 执行 ， 
那么 使 用 asyncio 设 定 一 个 IO 事件 , 它 在 协同 程序 B 结束 时 触发 , 并 会 让 协同 程序 A 
等 其 发 生 后 继续 执行 。 

这 样 ， 如 果 程 序 被 拆 分 成 许多 相互 依赖 的 协同 程序 ， 它 们 就 会 交错 执行 。 这 个 模 
式 的 美妙 之 处 在 于 ， 一 个 单线 程 的 应 用 可 并 发 运行 上 千 个 协同 程序 ， 而 这 些 协 同 程序 
不 必 是 线程 安全 的 ， 也 不 需要 为 线程 安全 而 引入 相应 的 复杂 性 。 

构建 异步 的 微服 务 时 ， 典 型 模式 如 下 : 


async def my_view (request) : 
query = await process_request (request) 
data = await some_database.query (query) 
response = await build_response (data) 


return response 


这 个 协同 程序 处 理 每 个 传 入 的 请 求 ， 事 件 循环 运行 后 ， 能 在 等 待 每 一 步 完 成 时 ， 
接收 上 百 个 新 请 求 。 

如 果 这 个 服务 使 用 Flask 构建 ， 并 以 单线 程 方式 运行 ， 那 么 每 个 新 请 求 都 只 有 等 
待 上 一 个 请 求 完成 才能 被 Flask 应 用 处 理 。 数 百 个 并 发 请 求 指向 该 服务 ， 服 务 器 会 立 
即 返 回 超时 。 

在 两 种 情况 下 ， 每 个 请 求 的 执行 事件 都 相同 。 但 并 发 处 理 大 量 请 求 并 交错 执行 的 
能 力 ， 使 得 异步 应 用 更 适合 IO 密集 型 微服 务 。 应 用 可 在 等 待 数据 库 调用 返回 时 ， 使 
CPU 做 很 多 事情 。 

如 果 一 些 服 务 包含 CPU 密集 型 任务 ，asyncio 提供 一 个 函数 ， 能 在 事件 循环 之 外 
通过 单独 线程 或 进程 执行 相应 的 代码 。 
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下 面 介绍 两 个 基于 asyncio 并 用 来 构建 微服 务 的 框架 。 


12.4 aiohttp 框架 


aiohttp(http://aiohttp.readthedocs.io/) 23 F asyncio 的 流行 框架 ， 它 在 asyncio 的 早 
期 就 已 出 现 。 

与 Flask 类 似 ， 它 提供 一 个 请 求 对 象 和 一 个 路 由 ， 将 查询 转发 到 对 应 的 处 理 函 
数 上 。 

asyncio 库 的 事件 循环 被 封装 在 Application 对 象 中 , 它 处 理 大 部 分 编排 工作 。 作为 
微服 务 的 开发 者 ， 可 像 使 用 Flask 那样 专注 于 构建 视图 上 。 

下 面 的 例子 中 ， 当 访问 应 用 的 /api 时 ， 协 同 程序 api0 返 回 ISON 响应 : 


from aiohttp import web 


async def api (request): 

return web.json_response({'some': 'data'}) 
app = web.Application() 
app.router.add_get('/api', api) 
web. run_app (app) 


aiohttp 框架 有 一 个 内 置 的 Web 服务 器 ， 可 使 用 run_app0 方 法 来 运行 这 个 脚本 。 
总 的 来 说 ， 如 果 习 惯 了 Flask, 那么 最 大 的 不 同 在 于 此 处 没有 使 用 装饰 器 将 请 求 路 由 到 
视图 上 。 

这 个 框架 提供 若干 个 能 在 Flask 中 找到 的 帮助 程序 和 一 些 独 创 特性 ， 例 如 中 间 件 。 
使 用 中 间 件 可 通过 注册 协同 程序 执行 特定 任务 (例如 自 定义 的 错误 处 理 )。 


12.5 Sanic 


SanicChttp:/sanic readthedocs.io/) 是 另 一 个 有 趣 项 目 , 它 使 用 协同 程序 并 尝试 提供 类 
似 于 Flask 的 体验 。 

Sanic 使 用 uvloop(https://github.com/MagicStack/uvloop) 作 为 事件 循环 ,uvloop 是 一 
个 使 用 libuv， 并 用 Cython 实现 了 asyncio 循环 的 协议 。 在 大 多 数 微 服务 中 ， 这 个 区 别 
微不足道 ， 但 透明 地 切换 到 一 个 特定 事件 循环 并 获得 一 定 的 速度 提升 ， 也 是 不 错 的 。 
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如 果 使 用 Sanic 重 写 前 面 的 例子 ， 它 与 Flask 非常 相似 : 
from sanic import Sanic, response 

app = Sanic( name ) 

@app. route ("/api") 

async def api (request): 


return response.json({'some': 'data'}) 


app. run () 
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不 用 说 ， 整 个 框架 受到 Flask 的 启发 。 你 会 在 Sanic 中 找到 几乎 所 有 可 让 Flask 成 
功 的 特性 ， 例 如 Blueprint。 

Sanic 也 有 其 独创 特性 ， 例 如 在 类 (HTTPMethodView) 中 编写 视图 的 能 力 。 这 个 类 
代表 一 个 端点 ， 每 个 动词 (GET、POST 和 PATCH 等 ) 对 应 于 它 的 一 个 方法 。 

这 个 框架 也 提供 中 间 件 来 修改 请 求 或 响应 。 

在 下 例 所 示 ， 如 果 视 图 函数 返回 字典 ， 框 架 会 自动 将 其 转换 成 JSON: 


from sanic import Sanic 


from sanic.response import json 
app = Sanic( name ) 


@app.middleware ('response') 
async def convert (request, response) : 
if isinstance(response, dict): 
return json (response) 


return response 


@app. route ("/api") 
async def api(request): 
return {'some': 'data'} 


app. run () 


如 果 微服 务 仅 返回 ISON 映射 ， 那 么 这 个 小 中 间 件 函数 就 能 简化 视图 代码 。 
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12.6 SPARS 


切换 到 异步 模型 意味 着 需要 在 所 有 地 方 使 用 异步 代码 。 

例如 ， 如 果 微服 务 使 用 一 个 请 求 库 ， 但 不 是 异步 的 ， 那 么 每 个 查询 HTTP 端点 的 
请 求 都 会 阻塞 事件 循环 ， 此 时 并 不 能 从 异步 中 获 益 。 

将 一 个 现 有 项 目 改 为 异步 模式 并 不 容易 ， 因 为 这 需要 彻底 修改 它 的 设计 。 大 多 数 
想 支 持 异步 调用 的 项 目 都 从 头 设计 一 切 。 


好 消息 是 ， 有 越 来 越 多 的 可 用 异步 库 可 用 来 构建 微服 务 。 在 PyPI 上 ， 可 搜索 
aio 或 asyncio。 这 个 wiki R f (https://github.conypython/asyncio/wiki/ThirdParty) 
也 是 一 个 值得 查看 的 好 地 方 。 


面 列 出 一 些 与 构建 微服 务 相 关 的 库 : 
aiohttp.Client: 可 用 来 替换 requests 包 。 
aiopg: 构建 在 Psycopg 上 的 PostgreSQL 驱动 。 
aiobotocore: AWS 客户 端 一 -今后 可 能 被 合并 到 boto3 官方 项 目 中 。 
aioredis: Redis 客户 端 。 
aiomysql: MySQL 客户 端 ， 基 于 PyMySQL 构建 。 

若 找 不 到 某 些 库 的 替代 品 ，asyncio 提 供 一 个 执行 器 (executor)， 可 用 来 在 独立 线程 
或 进程 中 执行 阻塞 代码 。 这 个 函数 是 一 个 协同 程序 ， 底 层 使 用 concurrent 模 块 中 的 
ThreadPoolExecutor 或 ProcessPoolExecutor 类 。 

下 例 通过 线程 池 来 使 用 requests 库 : 


eeeee a 


import asyncio 
from concurrent.futures import ThreadPoolExecutor 


import requests 


# blocking code 
def fetch(url): 


return requests.get (url) .text 


URLS = ["http://ziade.org', 'http://python.org', "http://mozilla.org"] 


# coroutine 
async def example (loop): 
executor = ThreadPoolExecutor (max_workers=3) 


tasks = [] 
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for url in URLS: 

tasks.append (loop.run in executor (executor, fetch, url)) 
completed, pending = await asyncio.wait (tasks) 
for task in completed: 


print (task.result ()) 


loop = asyncio.get_event_loop() 


loop. run until complete (example (loop) ) 


loop.close () 


每 次 调用 run_ in_executor0 都 会 返回 一 个 Future 对 象 , 它 用 来 在 异步 程序 中 设置 同 
步 点 。Future 对 象 会 监视 执行 状态 ， 并 提供 一 个 方法 在 结果 可 用 时 获取 结果 。 


Python 3 有 两 个 Future 类 ， 它 们 之 间 存 在 微妙 差别 。asyncio.Future 是 一 个 
可 直接 在 事件 循环 中 使 用 的 类 ， 而 concurrentfuturesFuture 是 一 个 在 
ThreadPoolExecutor 或 ProcessPoolExecutor 中 使 用 的 类 。 为 避免 混淆 ， 应 将 
Hrun in executor0 一 起 工作 的 代码 隔离 起 来 ， 并 在 结果 可 用 时 立即 返回 。 
持 有 Future 对 象 可 防止 发 生 灾难 。 


asyncio.waitO 函 数 能 等 待 所 有 Future 对 象 的 完成 , 因此 这 里 的 example0 函 数 会 在 
所 有 Future 返回 前 阻塞 。wait0 函 数 可 接收 超时 时 间 ， 所 以 返回 一 个 元 组 , 包含 已 完成 
的 Future 和 仍 在 执行 的 Future。 如 果 不 指定 超时 时 间 ， 将 无 限期 地 等 待 (除非 在 socket 


库 设置 了 全 局 超时 时 间 )。 


可 


进程 来 蔡 代 线程 ， 但 这 种 情况 下 ， 所 有 进入 和 离开 阻塞 函数 的 数据 都 必须 是 


可 序列 化 的 。 最 好 完全 避免 阻塞 代码 ， 尤 其 在 代码 是 IO 密集 型 时 。 


这 就 是 说 ， 如 果 你 有 一 个 CPU 密集 型 函数 ， 那 么 在 独立 进程 运行 它 是 值得 的 ， 因 


为 这 样 做 能 利用 所 有 可 用 的 CPU 核心 ， 并 加 速 微服 务 。 


12.7 ”本 章 小 结 


本 章 讲 述 如 何在 Python 中 使 用 异步 编程 来 编写 微服 务 。 尽 管 Flask 是 一 个 很 棒 的 
框架 ， 但 异步 编程 可 能 成 为 使 用 Python 编写 IO 密集 型 微服 务 的 下 一 场 革 命 。 
基于 Python 3.5 及 更 高 版 本 的 异步 框架 和 库 越 来 越 多 ， 这 使 得 这 种 方法 很 有 吸 


引力 。 


选择 一 个 微服 务 ， 然 后 从 Flask 切换 到 其 中 一 个 框架 ， 可 能 是 在 有 限 风险 下 尝试 


异步 模式 的 好 方法 。 
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